본 논문에서는 실제 수술실 환경에서 사용 가능한 비접촉 방식의 손 동작 인식 기술과 가상 터치 스크린을 조작하기 위한 접촉 방식의 인터페이스를 제안한다. 비접촉 방식의 인터페이스는 사용자의 실측 위치를 추적하고 손 동작을 인식하기 위해 Kinect 카메라를 이용하였고 접촉 방식의 인터페이스는 가상의 터치 스크린 생성을 위해 소형 프로젝터를 이용하여 구현하였다. 이를 통하여 의사는 실제 수술에서 수술 보조원의 도움 없이 의료 장비를 조작하거나 의료영상을 참고할 수 있다.