이송 질량에 의해 가진 되는 공압 제진대의 강화학습을 이용한 진동 제어에 관한 연구

Abstract

반도체, 디스플레이 공정과 같은 정밀 공정이나 나노 단위의 실험, 측정의 경우 미세한 진동에 의해 그 품질이나 측정 결과가 영향을 받게 된다. 이러한 원치 않는 진동을 저감하기 위해 공압 제진대가 그 대안으로 널리 사용되어 왔다. 공압 제진대는 압축 공기를 작동 유체로 사용하며, 낮은 강성과 낮은 고유 주파수를 갖기 때문에 우수한 진동 절연 성능을 보여준다. 하지만 낮은 강성으로 인해 제진대 상단에서 발생하는 외란에는 상대적으로 취약하다. 이를 극복하고자 본 연구에서는 강화 학습을 이용한 공압 제진대의 위치 제어에 관한 연구를 진행하였다. 강화 학습은 시뮬레이션을 통해 이루어졌으며, 이를 위해 이송 질량과 상호 작용하는 공압 제진대의 응답을 예측하기 위한 모델링을 진행하였다. 공압 제진대와 이송 질량 및 지지 프레임을 질량, 감쇠, 강성 요소로 간주하여, 공압을 포함한 이송 질량에 의해 가진되는 공압 제진대의 운동 방정식을 유도하였다. 유도된 운동 방정식을 통해 강화 학습 에이전트의 행동에 따른 제진대의 응답을 도출하였다. 또한 비례 제어 밸브의 구조를 고려하여 비례 제어 밸브 해석적 모델을 유도하였다. 비례 제어 밸브 모델은 내부 챔버의 이상 기체 방정식으로부터 유도되었으며, 등온 과정 가정을 통해 1차 지연 시스템으로 모델링 되었다. 매트랩 시뮬링크(MATLAB Simulink)를 이용하여 강화 학습 환경을 구축하였으며, 제어를 위한 에이전트 및 환경을 정의하였다. 심층 결정적 정책 경사법(Deep Deterministic Policy Gradient, DDPG) 알고리즘을 적용하여 액터 신경망과 크리틱 신경망을 구축하여, 에이전트를 학습시켰다. 또한 적절한 보상 함수를 제시하였으며, 이를 이용한 학습이 잘 수렴됨을 확인하였다. 마지막으로 학습이 완료된 에이전트를 통해 공압 제진대의 위치 제어를 수행했을 때, PID제어기 비교하여 더 우수한 제어 확인할 수 있었다. 에이전트는 공압 제진대의 목표 높이와 기울기를 유지하도록 입력 받고, 제어 중간 시점에 이송 질량이 다른 쪽 끝으로 이송된다. 강화 학습을 이용한 공압 제진대의 위치 제어 결과, 높이 약 20μm, 기울기 0.00005 radian 범위 내의 제어 성능을 보였다. 따라서 본 연구를 통해 강화 학습을 이용한 공압 제진대의 제어 가능성을 제시하였다. |In the case of precision processes such as semiconductor, display processes, and nano-scale experiments or measurements, the quality or measurement results are affected by unwanted vibrations. In order to reduce the vibration, a pneumatic vibration isolation table has been widely used as an alternative. The pneumatic vibration isolation table uses compressed air as the working fluid and shows excellent vibration isolation performance due to its low stiffness and low natural frequency. However, the pneumatic isolation table is vulnerable to disturbances occurring above the pneumatic table because of the low stiffness. In this paper, a study on control of the pneumatic table using reinforcement learning is conducted to overcome the vulnerability. Reinforcement learning was performed in the simulation environment. A pneumatic isolation table that interacts with the moving mass was modeled as mass, damper, stiffness system to create the simulation environment. The pneumatic isolation table's equation of motion was derived, including the pneumatic pressure force, when the pneumatic table was excited by the moving mass. The response of the pneumatic isolation table according to the action of the reinforcement learning agent could be numerically calculated using the derived equation of motion. In addition, a proportional valve modeling was performed by considering the structure of the proportional valve to control the actual pneumatic isolation table later. The proportional valve model was derived from the equation of state of the inner chamber and was modeled as a first-order time lag system through an isothermal process assumption. A reinforcement learning environment was built in MATLAB Simulink, and agents and environments for pneumatic table control were defined. A deep deterministic policy gradient (DDPG) algorithm was used to continuous action domain control. An appropriate reward function consisting of position error was proposed. It is important to set the reward function properly to guarantee the convergence of the learning process. After training the agent, position control of the pneumatic table was conducted under the situation in which a moving mass is transferred to the other side of the pneumatic table. The performance of vibration control using reinforcement learning was compared to the conventional PID controller. The proposed method had a better vibration control performance than the PID controller. The agent maintained the position of the pneumatic isolation table within the 20 μm in vertical displacement, 0.00005 radian in inclination. Therefore, in this study, the possibility of controlling the pneumatic isolation table using reinforcement learning was presented.