<aside> 🎨
서비스 UI 가안 및 유저 입출력 예시
</aside>
유저는 다음의 세 가지 정보를 입력값(input)으로 제공합니다.
출력(output) 결과물 예시 :
<aside> 💡
개발 목적 및 서비스 방향성
</aside>
언더스코어는 기존에 서베이 데이터를 활용해 언론사와 다양한 분석 프로젝트를 진행해왔습니다. 서베이 데이터를 분석할 수 있는 전통적인 리서치 업체나 데이터 분석 기업, 학계의 연구자들은 많으나, 언더스코어만이 지닌 문제 의식을 바탕으로 한 연구 아이디어와 이를 실제로 구현할 수 있는 통계적 역량이 있었기에, 저희는 클라이언트인 언론사·기관들에게 양질의 분석 결과물을 제공하며 지금까지 시장에서 성공적으로 생존할 수 있었습니다.
[스프] "지하철 이용자는 전장연 시위 지지하기 어렵다" 사실일까?
그러나 이러한 역량이 저희 언더스코어의 영원한 **기술적 해자(Technological Moat)**가 될 수는 없습니다. 사회과학적인 연구 아이디어와 시의성 있는 기획 능력은 당분간은 고유의 영역이겠으나, 하루가 다르게 발전하는 AI의 흐름 속에서 통계적 분석 행위 그 자체는 결국 자동화될 것이기 때문입니다. 이에 언더스코어는 시범적으로 설문(survey) 데이터에 한정하여 전처리 → 통계적 분석 → 결과 보고서 작성의 세 단계로 이루어지는 작업을 자동화해보고자 합니다.
서베이 데이터 분석의 가장 큰 걸림돌은 전처리 단계의 데이터 형식의 다양성과 불일치입니다. 동일한 설문조사라도 조사 시기, 조사 기관마다 변수명이 조금씩 달라지며, 코딩 체계도 제각각입니다. 대규모언어모델(LLM)을 활용한 전처리 자동화는 이러한 복잡성을 완전히 해결할 수 있습니다. 기존에는 연령 변수가 숫자인지 문자열인지, 리커트 척도 문항들이 각각 1점→5점과 5점→1점 순으로 방향성이 혼재되어 있다면, 어느 방향으로 재부호화(recoding)하는 것이 효율적인지를 사람이 판단해야했으나, AI가 자동으로 감지하고 표준화한다면, 서베이 데이터 분석에서 전체 작업의 1/3 정도를 차지하는 전처리 작업에 연구자가 얽매이지 않음으로서, 데이터 정제가 아닌 인사이트 도출에 집중할 수 있습니다. 유저 입장에서는 데이터셋 원본 파일과 이를 설명하는 코드북 두 가지만 입력하면, 추가적인 인간의 개입이 불필요해질 수 있습니다.
모든 분석가·연구자가 서베이 데이터를 받으면 가장 먼저 하는 작업은 “이 데이터의 기본적인 분포(distribution)는 어떠한가”를 파악하는 것입니다. 수십가지 문항들 중 관심 있는 연구 질문과 연관된 문항들을 최적의 형식으로 집계하는 것은 매우 간단하지만 번거로운 작업입니다. 일부 문항들의 경우 각 선지별 응답률 집계를 정리하는 것이 효과적일 때가 있고 (ex. 정치 현안에 대한 리커트 5점 척도 문항), 반대로 평균값을 그대로 활용하는 것이 적합할 때도 있기 때문입니다. (ex. 가구 당 월 평균 소득)
가령, 아래의 기술 통계 관련 분석 결과 보고서 생성 예시에서 볼 수 있듯, 청소년 정치 성향 조사가 진행되었다면, 해당 설문지에는 연령, 성별, 거주지, 학력 정보, 종교 등 다양한 문항들이 포함되어 있겠으나, 만약 유저가 입력한 질문이 **“지난 몇 년간 이슈가 되어 왔던 ‘남녀 간 정치 성향 분화’는 10대 청소년들에게서도 나타나는가?”**라면, 이 모든 인구통계 문항들을 일일히 집계하기 보다는, 정치 현안 관련 문항들 및 성별 간 차이에만 집중할 필요가 있습니다. 본 서비스는 이러한 ‘판단’과 ‘반복적 작업’ 두 가지 모두를 자동화합니다.
물론 전문 연구자들이 서베이 분석에서 가장 많은 시간을 투자하는 부분은 **“어떤 변수들을 어떻게 조합해서 분석할 것인가”**를 고민하는 과정입니다. 청소년 정치 성향 연구에서의 남녀 간 비교 예시를 계속 들자면, 단순히 성별 차이만 보는 것이 아니라, 부모의 교육 수준, 사회경제적 지위, 종교, 학업 성취도 등 다양한 통제변수를 고려한 후에도 성별의 효과가 통계적으로 유의하게(statistically significant) 유지되는지 여부를 판단해야 합니다.
본 서비스의 LLM은 이러한 통계적 모델 설계(statistical model specification) 자체를 자동화합니다. 유저가 입력한 질문에 적합한 문항들 (ex. 부모의 교육수준, 재학중인 고등학교 유형, 모의고사 평균 등급 등)을 통제변수로 자동으로 선정하고, 필요 시 교차효과(interaction effect)와 같은 추가적인 분석을 진행할 수도 있습니다.
AI 기반 분석 도구에 대한 가장 큰 우려는 AI가 그럴듯한 숫자를 만들어내는 것입니다. 언더스코어는 이를 해결하기 위해 실제 데이터 전처리 및 분석 과정을 독립적인 파이썬(Python) 커널에서 실행하는 방식으로 해결하고자 합니다. 이는 LLM의 환각(hallucination) 문제를 구조적으로 완벽하게 차단합니다. 예를 들어 “이주노동자에 대한 10대 청소년들의 인식 중 긍정 응답이 45.3%”라는 응답을 서비스가 생성했다면, 이는 LLM이 수천명의 응답 데이터 자체를 입력받아 추측한 숫자가 아닌, 실제 데이터셋을 Python 상에서 호출해 계산된 정확한 값입니다. 따라서 모든 분석 결과는 실행 로그와 함께 제공되어 재현가능성을 보장하며, 유저는 생성된 코드를 다운로드하여 추가 분석을 이어갈 수 있습니다.