AI 스피커의 VUI 사용성 평가지표 개발 및 개선전략 -중국 Z세대 사용자를 중심으로-

Abstract

Development and lmprovement Strategies for the Evaluation Criterice of VUI Usability of AI Speakers -Centering on Gen Z users in China-

Zhou ChaoDept. of Industrial Design The Graduate School Hanyang University

Background and Purpose: Voice User Interface is becoming more and more popular in the development of digital society. In the last decade or so, VUI has been widely used in digital devices such as AI speakers and chatbots, and users are beginning to accept this voice-based interaction. With the maturity and breakthrough of voice interaction technology represented by natural speech processing (NLP) and ChatGPT speech conversation model, VUI has the potential to become a new generation of human-computer interaction (HCI) interface for digital devices. At the same time, how to improve the availability of VUI based on different digital devices is becoming increasingly important, which is considered to further improve VUI utilization and operating experience. However, according to the current research progress in VUI usability field, there are still some shortcomings in VUI usability evaluation model and evaluation tools based on subdivision digital equipment. Considering that AI speakers are currently the most common digital devices using VUI technology, Generation Z users are the most experienced users of the age group using Voice Assistant. Therefore, this study focuses on the basic voice task types of Z generation users and AI speakers in China, and develops an index model for evaluating VUI availability of Z generation speakers. Scope and Methods: This study limited the scope of the study to the basic voice task types of Generation Z users and AI speakers in China. The research methods are as follows: firstly, the evaluation index of VUI of AI speakers based on Z generation users is deduced and defined by semi-structured interview and literature research method; secondly, the evaluation index is constructed by expert focus group interview. Results：The results of the usability evaluation metrics of the AI speaker VUI based on Generation Z users developed in this study are as follows, and the results of the weighting between the evaluation metrics of the second tier are as follows. Voice Interaction Efficiency (0.281, 1 position) > Comprehensibility and Information Quality (0.244, 2 position) > Operation Feedback and Control (0.147, 3 position) > Error Handling and Prevention (0.135, 4 position) > VUI Satisfaction (0.111, 5 position) > Ease of Operation Type Detection (0.082, 6 position). In addition, the feasibility of the evaluation metrics was verified and it was determined that the developed VUI usability evaluation metrics objectively reflect the usability of Generation Z users using the AI speaker VUI. These results indicate that the efficiency, comprehensibility and information quality of voice interaction are the most important evaluation metrics for evaluating the usability of AI speaker VUIs for Generation Z users, and that the values of this criterion can be subdivided into 24 Tier 3 VUI usability evaluation metrics. Based on these elements, this study proposes usability improvement suggestions for improving the quality of voice interaction based on large-scale language models, providing easy-to-understand and instantly responsive voice feedback, expanding the visibility and system compatibility of VUI voice work types, providing operation error alerts and contextual comprehension, natural language-based dialogue design, personalised settings and recommended search results. The results of the study will help to provide VUI R&D department with a valid measurement tool for evaluating the usability of the AI speaker VUI for the Gen Z user group and to provide user research data for Gen Z in the future. Research values：The value embodied in this study is mainly reflected in the following two aspects. First, the theoretical value of this study lies in the fact that it provides important insights into the evaluation index of AI speaker VUI usability based on Generation Z users by analyzing the operational behavior and usage of Generation Z's use of AI speaker VUIs. From the existing studies, there are still deficiencies in the related studies focusing on the development of AI speaker VUI usability evaluation indexes for a certain group, and the VUI usability evaluation indexes developed based on the whole age may not be able to more accurately identify the potential usability problems of users of different ages during usability evaluation due to the characteristics of users of different age groups. Therefore, this study theoretically supplements the research data related to VUI usability evaluation metrics for AI speakers based on Generation Z users and promotes the theoretical development related to VUI usability evaluation metrics. The practical value of this study lies in the fact that the VUI usability evaluation metrics developed in this study can be applied in evaluating the usability evaluation of AI speaker VUIs used by Generation Z users, which can help the AI speaker development department to improve the efficiency of usability improvement of AI speaker VUIs based on the usability problems identified in the usability evaluation.|연구배경 및 목적: 디지털 사회로 진입하는 과정에서 음성 사용자 인터페이스(Voice User Interface)가 점점 더 대중화되고 있다. 최근 10여 년 동안 VUI는 AI 스피커, 챗봇 등의 디지털 기기를 통해 널리 사용되었으며, 자연 음성 처리(NLP) 및 ChatGPT는 음성 상호작용 기술이 적용된 대표적인 예라 할 수 있다. 사용자들은 점차 음성 대화 기반의 대화 방식을 수용하게 될 것이며, VUI는 디지털 장치의 차세대 인간-컴퓨터 상호작용(HCI) 인터페이스가 될 가능성이 높다. 이와 관련해 다양한 디지털 장치를 기반으로 한 VUI의 사용성을 향상시키는 방법이 점점 더 중요해지고 있지만, VUI 사용성 분야와 관련된 현재 연구 진행 상황을 미루어 보면 세분화된 디지털 장비의 범주에 기반한 VUI 사용성 평가지표 및 평가도구는 여전히 연구가 부족한 실정으로, VUI 사용성 평가 시스템을 더욱 개선할 필요가 있다. 따라서 본 연구에서는 현재 VUI 기술을 가장 많이 사용하는 디지털 기기인 AI 스피커와 보이스 어시스턴트(Voice Assistant)를 가장 많이 사용하는 Z세대를 대상으로 Z세대 사용자에게 적합한 AI 스피커 VUI 사용성 평가지표 개발 및 AI 스피커 VUI의 사용성을 향상시킬 수 있는 방안을 제시하고자 한다. 연구범위 및 방법: 본 연구에서는 연구의 범위를 중국 Z세대 사용자와 AI 스피커의 기본 음성 작업 유형으로 제한하였으며, 연구방법은 다음과 같다. 첫째, Z세대 사용자 기반의 AI 스피커 VUI 사용성 평가지표의 정의와 평가지표를 도출하기 위해 문헌연구와 반구조화 인터뷰를 진행하였다. 둘째, 전문가를 대상으로 한 FGI(Focus Group Interview)와 AHP 계층법을 통해 AI 스피커 VUI 사용성 평가지표의 계층적 관계와 가중치 관계를 정리하였다. 마지막으로 중국 시장에서 서로 다른 브랜드의 AI 스피커 3개 모델을 선정하여 사용성 테스트를 진행하였다. 그 후 본 연구에서 개발된 VUI 사용성 평가지표을 설문지를 통해 평가·작성하게 하였으며, 다음으로 AI 스피커 VUI 사용성 평가지표의 유효성과 신뢰성을 검증하였다. 연구 결론: 제2계층 평가지표 간의 가중치 결과는 다음과 같다. 음성 상호작용 효율성(0.281，1순위) > 이해성 및 정보 품질(0.244, 2순위) > 조작 피드백 및 제어(0.147, 3순위) > 오류 처리 및 예방(0.135, 4순위) > VUI 만족도(0.111, 5순위) > 조작 유형 감지 용이성(0.082, 6순위)순으로 나타났으며, 평가지표에 대한 타당성 결과를 검토한 결과, 개발된 VUI 사용성 평가지표는 AI 스피커 VUI를 사용하는 Z세대 사용자의 사용성을 여러 지표에서 객관적으로 반영할 수 있는 것으로 확인되었다. 이러한 결과는 음성 상호작용의 효율성과 이해성, 정보 품질이 Z세대 사용자의 AI 스피커 VUI 사용성을 평가하는 가장 중요한 평가지표라는 것을 의미하며, 본 표준치의 경우 24개의 제3계층 VUI 사용성 평가지표로 세분화될 수 있음을 시사한다. 이러한 내용을 바탕으로 본 연구는 대형 언어 모델을 기반으로 음성 상호작용 품질 개선, 이해하기 쉽고 즉각적인 응답성을 제공하는 음성 피드백, VUI 음성 작업 유형의 가시성 및 시스템 호환성 확장, 조작 오류 알림 제공 및 문맥 이해력 향상, 자연어 기반 대화 디자인, 개인화 설정 및 검색결과 추천 제공하는 AI 스피커 VUI 사용성 개선 방안을 제안하고자 하며, 향후 Z세대 사용자층의 AI 스피커 VUI 사용성을 평가하는 효과적인 측정 도구를 VUI R&D 부문에 제공하여 관련 연구의 성과를 기대하고자 한다. 연구 가치: 본 연구의 가치는 크게 두 가지 측면으로 반영될 수 있다. 첫째는 이론적 가치 측면으로, Z세대 사용자의 AI 스피커 VUI 사용성 평가지표에 대한 통찰력을 제공하기 위해 AI 스피커 VUI의 작동 행위 및 사용 현황을 분석하는 데 있다. 기존 연구들을 살펴보면, 특정 집단을 대상으로 한 AI 스피커 VUI 사용성 평가지표 개발에 관한 연구는 여전히 부족한 실정이며, 사용자의 잠재적인 사용성 문제를 정확하게 발견하지 못하는 문제가 발생할 수 있다. 따라서 본 연구는 Z세대 사용자의 AI 스피커 VUI 사용성 평가지표에 관한 연구의 데이터를 보완하여, VUI 사용성 평가지표와 관련된 이론적 개발을 촉진하였다. 둘째는 실무적 가치에 대한 측면으로, 본 연구에서 개발한 VUI 사용성 평가지표를 AI 스피커 VUI 사용성 평가에 활용하여 AI 스피커 개발 부서가 사용성 평가의 결과를 바탕으로 파악한 사용성 문제를 기반으로 AI 스피커 VUI의 개선 효율을 높이는 데 있다.