본 논문에서는 Dynamic Space Time Warping(DSTW) 알고리즘을 이용하여 손동작을 다양한 배경에서도 정확하게 인식할 수 있는 방법을 제안한다. DSTW 알고리즘을 이용한 기존의 손동작 인식 방법은 질의 영상의 매 프레임마다 검출된 다수의 손 후보 영역과 모델 영상을 시간 축 상으로 비교하는 방법이다. 그러나 DSTW 알고리즘을 이용한 기존의 손동작 인식 방법은 손을 포함하지 않은 후보 영역들(배경, 팔꿈치 등)에 의해 오 인식될 수 있는 경로를 생성하며, 그 결과로 사용자가 의도하지 않은 손동작으로 인식된다. 이러한 단점을 해결하기 위해서, 본 논문에서는 손 후보 영역의 불변 모멘트를 이용하여 질감 정보를 추출한 후 후보 영역들 사이의 유사도를 비교한다. 제안한 방법을 통해 계산된 유사도는 모델 영상과 질의 영상의 매칭 비용에 가중치로 적용된다. 실험 결과를 통해 제안한 방법은 다양한 배경에서도 사용자의 손동작을 정확하게 인식 하였으며 기존의 방법에 비해 약 13%의 인식률이 향상한 것을 확인 하였다.