심층강화학습을 이용한 반도체 다이접착공정의 최적화

Abstract

반도체 제조에서 다이접착공정에서는 양품으로 분류된 웨이퍼의 칩들을 리드프레임으로 옮기는데, 로봇 팔이 칩을 들어 올려 리드프레임의 특정 위치에 내려놓는 행동이 반복된다. 이 공정은 반도체 공정의 전체 생산성 향상을 위해 매우 중요하므로 웨이퍼와 리드프레임을 오고가는 로봇 팔의 이동경로를 효율적으로 탐색하는 방법이 필요하다. 기존에는 특정한 규칙을 설정하고 그 규칙에 따라 로봇 팔이 움직임으로써 칩들을 옮기는 규칙 기반의 방법을 적용하고 있다. 그러나 이 방법은 로봇 팔의 움직임이 중복되어 효율적이지 못하다. 이 방법의 단점을 극복하고자 하는 휴리스틱 기반의 방법들은 불량 칩들의 분포에 따라 각 상황에 맞는 알고리즘을 재설계해야 하는 단점이 있다. 이 연구에서는 심층강화학습 중 심층 Q-네트워크를 적용하여 접착 공정의 로봇 팔이 적절한 이동 경로에 따라 움직일 수 있는 탐색 및 학습 방법을 제안한다. 이 방법은 상태에 따른 행동 값인 Q 값을 Q-표로 구성하여 계산하는 기존 Q–러닝 강화학습 방법에서 더 나아가 신경망을 통해 Q값을 학습한다. 제안하는 방법은 먼저 웨이퍼와 리드프레임의 이동을 결정하는 두 거리결정지수와 ε-탐욕정책의 거리 선택 기준에 따라 웨이퍼와 리드프레임의 이동 경로를 탐색한다. 탐색이 끝난 후에는 더 짧은 이동거리를 갖는 이동 경로를 위해 다층신경망의 심층 Q-네트워크를 이용하여 두 거리결정지수에 대한 학습을 진행한다. 심층 Q-네트워크는 벨만 방정식을 통해 총 이동거리에 해당하는 Q 값을 작게 하는 방향으로 학습을 진행하며, 학습이 진행되면서 각 거리에 대한 거리결정지수 값이 갱신된다. 양품 웨이퍼에 대한 이동경로 탐색과 이동거리 최소화 방법의 학습이 완료된 심층 Q-네트워크 기반 프레임워크를 불량 칩을 가진 네 웨이퍼에 적용하고, 제안 방법과 기존의 연구 방법들에 대해 로봇 팔의 총 이동거리를 비교하여 제안 방법의 성능이 우수함을 확인하였다. 제안 방법은 Q-러닝 학습에 다층신경망 학습 방법을 결합한 심층 Q-네트워크 방법을 적용하여 로봇 팔이 움직인 거리에 따른 보상을 반환함으로서 더 효율적인 이동 거리 탐색이 가능하다. 또한 이전 연구에서 지적되었던 일반화 능력의 부재를 극복하였고 계산양이 많아서 속도가 느리고 연산이 다소 부정확하던 Q-러닝의 한계점을 일부 해결하였다.