<aside> ℹ️ 기초 정보

</aside>

• 논문

  Korean Online Hate Speech Dataset for Multilabel Classification: How Can Social Science Aid Developing Better Hate Speech Dataset?

• 데이터셋

  https://github.com/smilegate-ai/korean_unsmile_dataset

  https://github.com/sgunderscore/hatescore-korean-hate-speech

• 소개 영상 (Korean Unsmile Dataset)

  [Smilegate AI] UnSmile 데이터셋

• 데모 API (Huggingface)

  sgunderscore/hatescore-korean-hate-speech · Hugging Face

  from transformers import TextClassificationPipeline, BertForSequenceClassification, AutoTokenizer
  model_name = 'sgunderscore/hatescore-korean-hate-speech'
  model = BertForSequenceClassification.from_pretrained(model_name)
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  pipe = TextClassificationPipeline(
      model = model,
      tokenizer = tokenizer,
      device = -1, # gpu: 0
      return_all_scores = True,
      function_to_apply = 'sigmoid')
  
  for result in pipe("착한 중국인은 죽은 중국인이다")[0]:
      print(result)
  #{'label': 'None', 'score': 0.07771512866020203}
  #{'label': '기타 혐오', 'score': 0.02803093008697033}
  #{'label': '남성', 'score': 0.013538877479732037}
  #{'label': '단순 악플', 'score': 0.01559345331043005}
  #{'label': '성소수자', 'score': 0.014305355027318}
  #{'label': '여성/가족', 'score': 0.014650419354438782}
  #{'label': '연령', 'score': 0.014001855626702309}
  #{'label': '인종/국적', 'score': 0.9227811098098755}
  #{'label': '종교', 'score': 0.035127196460962296}
  #{'label': '지역', 'score': 0.02069076895713806}
  

<aside> 📌 요약

</aside>

• 본 연구의 목적은 사회과학적 논의들을 바탕으로, 비서구·비영어권 문화를 소재로 한 혐오발언 데이터셋을 개발하는 것
• 총 3.5만건의 온라인 텍스트 데이터를 수집했으며 다중레이블(multi-label) 방식으로 태깅·학습함
  • SmilegateAI UnSmile Dataset 2.4만 건 (기본 데이터셋)
  • HateScore Dataset 1.1만 건 (중립 레이블 위주 추가 데이터셋)
• 데이터의 카테고리는 총 10가지
  • 혐오발언 - 여성·가족, 성소수자, 지역, 종교, 인종·국적, 연령, 남성, 기타
  • 단순악플
  • 중립 댓글
• KcBERT 기반의 분류 모델 성능(LRAP, Label Ranking Average Precision)의 경우, 기본 데이터셋 2.4만 건을 사용했을 때에는 0.89를 기록했으나 보조 데이터셋 1.1만 건을 함께 학습 시 0.92로 소폭 증가했으며 실제로도 사회적 소수자나 논쟁적인 소재를 언급만해도 혐오발언으로 오분류하던 문제를 어느 정도 해소함
• 본 연구는 스마일게이트 엔터테인먼트 산하 스마일게이트 AI의 지원을 받아 진행되었으며 논문에서 다루는 사회과학적 논의, 문헌 검토 내용, 예시 문장 사례 등은 모두 스마일게이트AI의 공식 입장과는 무관합니다.

<aside> 📖 연구의 배경

</aside>

• 혐오발언(hate speech)은 단순히 거시적인 사회 이슈일 뿐만 아니라 챗봇과 같은 텍스트 데이터 기반 서비스를 개발하는 IT기업에게도 중요한 문제
• 기존의 악플(online profanity) 관련 데이터셋들은 일반적으로 이진 분류만을 활용함 (1=악플, 0=악플 아님)
• 혐오발언 데이터셋의 경우, 영어 텍스트들은 반유대주의(anti-semitism), 흑인 혐오(anti-black), 무슬림 혐오(anti-muslim)등의 다양한 카테고리들을 다루고 있으나 여전히 비서구·비영어권에 적합한 분류 체계 및 실제 데이터를 제공하는 사례는 많지 않았음
• 지역적인 맥락은 물론 혐오발언(hate speech)과 사회적 소수자(social minority)라는 개념에 대한 사회과학적 고민들을 반영하여 관련 데이터셋을 구축할 필요가 있음
• 따라서 본 연구의 목표는 단순히 한국어 온라인 혐오발언 데이터셋 개발을 넘어 다양한 문화권에서 어떻게 하면 각 국가 별 데이터셋을 구축할 수 있을지, 일반론적인 매뉴얼을 제시하는 것
• 또한 혐오발언은 한 텍스트가 여러명의 혐오 대상을 지칭할 수 있음. 그렇기에 단순히 상호 독립적인(mutually exclusive) 레이블링을 하는 대신 다중레이블(multi-label) 방식으로 주어진 문장이 다루는 혐오를 모두 태깅한 데이터셋을 구축함