User Modeling on Social Media: Analysis, Methods, and Implications

Abstract

소셜 미디어의 사용이 사람들의 일상 활동의 주요 부분이 됨에 따라, 많은 개인 속성(예: 나이, 성별, 감정, 관심, 태도, 성격)이 소셜 미디어의 콘텐츠 및 활동에 암묵적으로 또는 명시적으로 반영되는 경우가 많다. 이로 인해 소셜미디어는 정 신 분석, 사회 현상 분석, 인간 모델링 등 다양한 영역의 연구에 폭넓게 활용되고 있다. 특히, 산업에서는 개인화 서비스(예: 개인화 추천)가 실제로 등장하면서 사 용자 모델링의 그 중요성이 강조되고 있다. 소셜 미디어의 사용자 모델링에 대한 많은 기존 연구는 텍스트 기반 콘텐츠와 팔로우기반관계에중점을두고있다.그러나최근소셜미디어는다양한콘텐츠 유형(예: 텍스트, 이미지, 비디오) 및 활동(예: 좋아요, 싫어요, 답글, 이모티콘)을 지원한다. 이러한 유형의 콘텐츠와 활동의 조합은 더 많은 개인 속성을 포함하고 새로운 관계를 생성한다. 그러므로 다양한 콘텐츠와 활동의 조합과 개인 속성의 관계에 대한 분석이 필요하다. 또한, 많은 분야에서 성공적인 결과를 얻고 있는 머신러닝기법중하나인딥러닝은사용자의특성모델링에적용되지않고있다. 따라서, 본 연구에서는 다양한 유형의 콘텐츠와 새롭게 등장한 관계에 대해 분석 하고, 이를 통해 소셜 미디어 사용자의 속성을 모델링한다. 우리는 주로 다음 세 가지 사용자 속성에 대해 다룬다. 첫번째는 소셜 미디어 사용자의 이미지를 활용하여 감정을 분석하고 모델링 한다. 이를 위해, 본 연구는 먼저 (1) 이미지의 맥락 정보를 묘사하는 시각적 힌트 의 개념을 설명하고, (2) 긍정적 또는 부정적인 감정을 표현하는 시각적 힌트를 제시하고, (3) 동일한 게시물에서 시각적 힌트와 텍스트의 관계에 대한 심층 분 석을 통해 감정 예측 모델링에서 시각적 힌트의 효과를 입증한다. 실험 결과, 시 각적 힌트 기반 모델이 이미지 기반의 베이스라인 모델(Fine-tuned Convolutional Neural Network)에 비해 감정 예측에서 20%의 정확도 향상을 보였다. 특히, 시 각적 힌트 기반의 모델의 성능은 텍스트 기반의 모델과 비슷한 성능을 보였는데, 이는 이미지의 시각적 힌트와 감정 간의 강한 관계성을 보여준다. 뿐만 아니라, 현재와 미래의 소셜 미디어의 사용 트렌드를 잘 반영할 수 있는 이미지 기반의 감정 예측 모델에 대한 잠재력을 보여준다. 두번째는 소셜 미디어 소셜 미디어 사용자의 demography characteristics (i.e., age and gender)을 분석하고 모델링한다. 이를 위해, 이미지와 해쉬태그의 특징을 통해 인스타그램 사용자 참여와 관련된 두 가지 개인 속성인 연령과 성별에 대한 연구를 제시한다. 본 연구는 Instagram 사용에 있어, 연령과 성별에 따라 사용자 가 생성한 컨텐츠의 주제에서 큰 차이가 있음을 보인다. 이 후, 이러한 차이를 표현하기 위한 컨텐츠의 이미지 오브젝트와 해쉬태그를 기반하여 나이와 성별에 대한 classification model을 구축한다. 모델은 최대 F1-score 기준 각 88%와 80% 의 성능을 보였으며, 이미지 오브젝트와 해쉬태그가 사용자의 특징을 잘 나타낸 다는 것을 검증하였다. 본 연구는 새로운 데이터 세트를 사용하여 모델의 견고함 을 보이고, 실제 사람이 성별과 나이를 구분하는 것보다 더 좋은 성능을 보임을 입증하였다. 이는 사용자의 나이와 성별을 분류하는 일의 어려움을 보여주는 동 시에 이미지 오브젝트와 해쉬태그를 통한 나이 및 성별 분류 모델의 잠재력을 보여준다. 마지막으로, 소셜 미디어 사용자의 소셜 활동을 통해 사용자의 관심사 기반 관계를 분석하고 이를 모델링한다. 이를 위해, Instagram에서 해쉬태그를 활용하 여 like network를 구축하고, 소셜 네트워크를 구성하는 두 가지 중요한 측면인 친구 관계와 관심사를 통해 이를 분석한다. 본 연구 결과는 (1) friend-based like networks와 non-friend-based like networks 간의 비교 분석을 통해 비친구 사용자 간의 좋아요 활동이 사용자의 관심사에 기반함을 보여주고, (2) 유저와 컨텐츠 사이의 interest 기반의 관계를 특징짓는 해시태그의 특성를 입증한다. 본 연구는 데이터 중심의 경험적 분석을 통해 온라인 소셜 네트워크에 적용되는 소셜 그룹 을 생성하고 유지하기 위해서는 공통의 관심사가 필요하다는 공통 정체성 이론에 대한 통찰력을 제공하고 입증하였다. |Using social media has become a major part of people’s daily activities. Many of their personal properties (e.g., age, gender, emotion, interest, attitude, personality) are often either implicitly or explicitly reflected in the contents and activities on social media. As a result, social media have been broadly utilized in the research of many domains such as psychoanalysis, social phenomenon analysis, human modeling, etc. Industries have also given attention to social media for the analysis of their users and for marketing their products. Personalized services (e.g., personalized recommendations) emerged in practice. The importance of user modeling has been well recognized. Prior research on user modeling on social media focused on text-based content and follow- based relationships. However, recent social media supports various content types (e.g., text, image, video) and activities (e.g., like, dislike, reply, emoji). The combination of these types of contents and activities contains more information to extract or infer properties of users and produces new relationships. Therefore, there are invaluable research opportunities. Moreover, deep learning, which is getting successful results in many domains, is less adopted in modeling properties of users. Therefore, in this dissertation, I model the properties of users on social media through the analysis of various types of content and newly emerged relationships. First, I model the emotions of users on social media. Toward this goal, I (1) consider the notion of visual hints that depict contextual information of images, (2) present their characteristics in positive or negative emotions, and (3) demonstrate their effectiveness in emotion prediction modeling through an in-depth analysis of their relationship with the text in the same posts. The results of experiments showed that my visual hint-based model achieved 20% improvement in emotion prediction, compared with the image-based baseline model. In particular, the performance of my model was comparable with that of the text-based model, highlighting not only a strong relationship between visual hints of the image and emotion but also the potential of using only images for emotion prediction which well reflects current and future trends of social media use. Second, I model the demographic information of users. To do this, I present a study of two personal properties – age and gender – related to user engagement on Instagram through the characterization of images and tags. I show the strong influences of age and gender on Instagram use from the perspectives of topical and content differences. I build age and gender classification models that yield up to 88% and 80% F1 scores for detecting age and gender, respectively and highlight better characterization of users by images than tags. I further demonstrate the robustness of my models by using a new set of test data and their overall greater performances than humans. my study highlights that future research should exploit images more, as images are complementary to text and there are many unexamined images with no text embedded. Lastly, I model new relationships based on activities related to interests. For this, I build like networks on Instagram and analyze them through the lens of two salient aspects – friendship and interest – that constitute social networks. The results (1) show that the like activities between users who are not friends indicate the presentation of their interests, based on the comparative analysis between friend- and non-friend-based like networks, and (2) demonstrate strong signals of the hashtag characterizing the interest-based relationships in users and content. My research substantiates and gives insights from the common-identity theory in which the social groups are maintained by common-interest applied in online social networks through data-driven, empirical analysis.