Quasi-Newton 방법을 이용한 신경망 모형에 관한 연구

Abstract

최근에 신경망 모형의 구조적인 알고리즘에 관한 관심이 증가하고 있다. 본 논문에서는 단일 은닉층 전방향 신경망에 최적화 알고리즘으로 오류역전파와 Quasi-Newton을 적용하여 네트워크와 관련된 오차함수의 수열을 최소화하였다. 이 알고리즘으로 두 가지 실험에 적용하였다. 첫 번째 실험에 있어서 WBCD와 CED 데이터를 70%, 30% 비율로 훈련데이터와 검증데이터로 구분하여 은닉 마디의 수를 작은 수부터 실험하였다. 두 번째 실험은 데이터를 50%, 50% 비율로 구분하여 실험하였다. 실험 결과, 오류역전파 알고리즘에 비해 Quasi-Newton 알고리즘의 평균 예측률이 높다는 것을 알 수 있다. 국내에서 오류역전파 알고리즘 외에 최적화 알고리즘으로 수치해석적인 Quasi-Newton 알고리즘을 적용한 첫 실험이라는 점에서 의미있다고 할 수 있다.