인공지능(AI)기술 기반 융복합 인터랙티브 무용공연콘텐츠 설계 및 구현

Abstract

4차 산업 혁명 도래 이후 우리 사회는 비약적인 기술 발달로 인해 빠르게 진화하고 있다. 2020년 현재, COVID-19 팬데믹 사태로 인한 언택트 문화가 성행함에 따라 관련 기술은 필수적 요소로 자리 잡았으며, 공연예술계 또한 실험적인 언택트 기술적용 콘텐츠 제작을 시도하고 있다. 공연예술은 작품 그 자체만으로 가치가 인정될 수 있으나, 공연이란 행위자와 관객의 존재가 성립되어야 하므로 관객 유치를 위한 마케팅을 필요로 한다. 본 연구에서는 이 같은 공연예술 마케팅의 필요성에 따라 무용공연 대중화의 새로운 대안을 찾고자 하였으며, 관객이 참여할 수 있는 인공지능(AI) 기반 융복합 인터랙티브 무용공연콘텐츠 설계 및 구현에 대한 주제를 다루었다. 본문에서는 AI의 개념을 살펴보고 AI 활용 공연현황 및 인터랙티브 콘텐츠의 국내·외 사례분석을 시행했다. 분석 결과 공연예술 활용사례가 드문 점과 무용공연 적용 시의 효용가치를 고려하여 연구모형을 설계하였고, 이를 토대로 공연콘텐츠·관객참여·부상무용수 참여·교육적 측면으로 분류하여 연구가설을 설정하였다. 공연콘텐츠 측면은 포스트 코로나 시대, 문화예술계 전반에서 성행하고 있는 언택트 공연 및 인터랙티브 공연의 의의와 필요성에 대해 고찰하였다. 관객참여 측면은 번트.H.슈미트의 전략적 체험 모듈 이론에 입각하여 관객이 공연에 직접 참여하고 체험하는 효과를 제시하였다. 부상무용수 참여 측면은 콘텐츠 중 부상 무용수들의 공연 참여기회를 확대하는 시도를 진행하였으며, 이에 따른 기대효과를 제시하였다. 교육적 측면은 AI 기술 기반 실기교육 시의 콘텐츠 활용 방안 및 교보재로서의 교육적 효용가치에 관해 기술하였다. 연구모형에 따라 설계·구현된 AI 활용 영상 콘텐츠는 세 가지로 분류하였다. 첫째, 무용수 여섯 명의 영상을 자연스럽게 연결 후 무용수 간 동작 일치 구간을 AI로 추적하여 영상의 변화를 주는 자동영상 편집기술을 활용하였다. 둘째, 무용수의 움직임 데이터를 참여관객에게 적용하여 참여관객 움직임을 보완하고 무용수와 유사한 움직임을 보이도록 작업하였다. 작업한 영상은 유사 홀로그램으로 구현하여 실제 무용수와 함께 출연하는 장면을 연출하였다. 셋째, 실제 출연하지 않은 찬조출연 무용수의 영상을 공연 영상에 덧입히는 작업을 통해, 실제 무용수와 함께 출연하는 장면을 연출하였다. 본 연구콘텐츠의 실효성 검증을 위해 참여관객, 찬조출연 무용수, 전문가를 대상으로 심층 인터뷰를 진행하고 콘텐츠 관람자 중 300명을 대상으로 설문조사를 실시하여 응답 데이터를 통계분석 하였다. 통계분석 결과, 타 예술분야 대비 무용공연의 접근성이 낮으며, COVID-19 상황에서 공연예술의 접근성이 제한됨을 확인할 수 있었다. 또한 언택트 무용공연이 무용공연의 접근성을 강화할 수 있고, AI 적용 무용공연을 통해 관객의 무용공연 흥미도 및 참여 의욕이 높아졌음을 확인할 수 있었다. AI 적용 부상무용수 참여 무용공연에 대해서는 관객 및 무용수 모두 긍정적으로 인식하는 비율이 높음을 확인할 수 있었고, 보편적으로 AI 적용 무용 콘텐츠가 교육적 효용가치가 있다고 예상하는 것을 확인할 수 있었다. 위 결과에 따른 연구의 의의는 다음과 같다. 첫째, 관객참여가 제한적이었던 이전 콘텐츠들과 다른, 차별성을 지닌 콘텐츠 개발 측면에서 의미가 있다. 둘째, 공연예술의 특성에 따른 물리적, 시간적 제약에서 벗어나 영속성을 지닌 다차원적 공연콘텐츠 개발 가능성을 볼 수 있었다. 셋째, 공연에 직접 출연할 수 없는 무용수들의 공연 참여기회 확대를 통해 해당 무용수의 성취감 고취 및 역량을 확대할 수 있다. 본 연구 결과를 종합해보면, AI 기술 기반 무용공연에서 관객과의 인터랙션을 진행한 최초사례로, 관객이 AI 기술로 홀로그램화 되어 무대 위 무용수들과 함께 출연함으로써 공연에 직접적인 참여가 이루어졌다는 데 의의가 있다. 다양한 공연예술 콘텐츠의 개발로, 무용공연이 대중들과 함께 향유할 수 있는 문화예술로 자리매김하길 기대한다.; Since the advent of the 4th industrial revolution, our society has been evolving with unprecedented speed and pattern, driven by synergistic resonance of digital and physical world. In the midst of COVID-19 pandemic, strong demands on untact service and contents urged the performing arts community to create the cultural contents based on untact technology. The value of performing art is self-explanatory, but it requires to attract audiences which is the prerequisite condition to imbue the existence of performance and performers. This study address the design and implementation of fusion and convergence interactive dance performance contents based on artificial intelligence(AI), allowing the participation of the audiences. This study also provide new alternative for the promotion of dance performances. In the main text, the concept of AI, the current status of AI-based performances us, and the case analyses on domestic and international interactive contents are present. As a result of the analyses, a research model was designed to optimize the practicality of performing arts, and the research hypotheses were established from the aspects of performance contents, audience participation, participation of injured dancer, and education. For the performance contents, we examined the significance and necessity of untact performances and interactive performances which is prevalent in the post-corona pandemic era in the cultural and art communities. For the audience participation, the effect of audience participation and experience in the performances was presented based on the strategic experience module theory of Bernd H Schmitt. For the virtual dance participation, injured dancers were allowed to take part in the performances among the contents using AI technology. For the education aspect, practical education methodology based on AI technology, along with the educational utility value were explained. The AI-based video contents designation and implementation were classified into 3 categories. Firstly, automatic video editing technology was used for making alterations in the videos by tracking the motion matching sections between dancers from compiled videos of 6 different dancers. Secondly, the motion data of the dancers were applied to the amateur participant movement to create virtual dance imitation video of the participating audiences. The videos were implemented as a hologram to create a scene in which the participating audiences are appearing with real dancers. Thirdly, the video of non-present dancers, who made guest appearance was added to the performance video to create a scene in which they danced with real dancers. To verify the effectiveness of this contents, in-depth interviews were conducted with participating audiences, dancers making guest appearance, and experts, along with a survey of 300 content viewers to analyze the response data statistically. The results of statistical analysis showed that the accessibility for dance performances remained low, as compared to other fields of art, and that the accessibility for performing arts was limited amid the spread of the COVID-19. Furthermore, it was found that the untact dance performance could help expanding the accessibility of dance performance, and that the audiences' interest in dance performance and willingness to participate in dance performance were encouraged through the AI based dance performance. For the dance performances with the participation of injured dancers, the ratio of both audiences and dancers with positive awareness was increased with considerable recognition of the educational utility value of such a virtual dance contents. Based on aforesaid results, this study provides meaningful insights of the following contexts: Firstly, this study developes the contents which surpass the limitations of the previous contents in audiences participation. Secondly, this study provides the potential platform developing multi-dimensional performance contents with permanence, not bound by physical and temporal constraints of conventional performing arts. Thirdly, this study establishes a basis of broadening the opportunities for physically impaired dancers to participate in the performances, thus increasing their sense of accomplishment and expanding their capability. Based on overall results, this study demonstrated that dancers and audiences could interact in the dance performances using a holographic image projection, dance motion digitalization, and AI driven virtual imitation technologies.

I hope that our effort to bring AI-driven alternative form of performing art contribute to the establishment of various performance art contents based on enhanced public interest and participation.