<aside> 📌

개발 배경

</aside>

• 구글 스칼라 등을 활용해 학술 연구들을 하나하나 검색했던 기존의 자료 조사 방식이 번거로웠기에, 지난 몇 년 간 LLM을 활용해 학술 문헌 검색·요약을 자동화하는 서비스들이 등장했습니다. Consensus나 Elicit과 같은 서비스가 대표적입니다. 그러나 해당 서비스들은 대부분 이공계 연구자들을 타겟하기에 단순히 활자화된 정보만을 활용해 문헌을 검색합니다. 가령 "딥페이크의 기술적 해결책"을 검색하면 논문 제목이나 본문에 명확히 "딥페이크"라는 단어가 포함된 연구만 추출하는 식입니다.
• 한편, 지난 몇 개월 사이에 OpenAI와 Perplexity 등 해외 IT기업들은 에이전트(Agent) 방식으로 유저의 질문에 대해 웹 검색을 거쳐 심층적인 답변을 제공하는 딥 리서치(Deep Research) 서비스를 연이어 발표했습니다. 이들 서비스는 평균적으로 10~15분 정도의 시간만을 사용하고도 고급 인력에 준하는 상당히 높은 성능의 답변을 보여준다는 강력한 장점이 있으며, 대부분의 사무직 자료 조사는 특별한 추가적인 기능이 필요하지 않을 정도입니다. 그러나 이들은 기본적으로 웹에 공개된 자료만을 활용하고 있기에, 의미적·맥락적 유사성을 요구하며 파일(ex. 보고서, 논문, 구조화된 법률 DB 등) 형식으로 주요 자료들이 존재하는 정치·사회·경제·경영 분야의 심층 조사에서는 다소 아쉬운 성능을 보여주었습니다.

<aside> 🧑🏻‍💻

개발 방향성 및 차별화 포인트

</aside>

• 이러한 기존 서비스들의 한계를 바탕으로 언더스코어는 <학술연구DB 기반 질문봇>을 개발했습니다. 저희의 문제의식은 크게 두 가지입니다.

  • 첫 번째, 웹에서 접근 가능한 공개된 정보만으로는 인문·사회·경제·경영 분야에서 유저의 질문에 대해 정확하고 심층적인 답변을 하기 어렵습니다. 컨설팅펌의 분석 보고서나 씽크탱크의 워킹 페이퍼, 저명 학술지의 논문들, 법률 간 연계 구조가 담겨있는 DB, 판례 등의 정보들은 모두 웹에서 일반적인 검색으로는 접근 불가능한 파일 형태로 되어 있기 때문입니다.
  • 두 번째, 유저의 질문에 직접적으로 조응하는 어휘들이 있는 자료 이외에도, 맥락적으로 유사한 정보들을 담은 자료들을 참조할 필요가 있습니다. 가령 "기본소득 도입의 부작용"을 검색할 경우, 기성 서비스들의 작동 방식을 적용한다면 (실제 기본소득을 현실에서 도입한 사례는 많지 않고, 따라서 관련 언급이 명시된 논문들 역시 적기에) 지나치게 적은 수의 연구들만이 수집되겠으나, 인용 네트워크를 활용한다면 "최저임금 급등의 효과", "지역 화폐 배부의 결과" 등 인접 개념들을 다룬 논문들이 함께 포착될 수 있습니다.

• 이와 관련해 언더스코어는 일찍이 지난 2023년 상반기, 교육부 사회부총리실과의 용역 연구에서 정부출연연구기관의 보고서들이 기록되어 있는 NKIS와 지자체의 연구 보고서들이 기록되어 있는 PRISM, 두 개의 DB에 기초하여 유저의 질문에 답하는 정책 질의응답봇을 간단하게 개발한 바 있습니다.

  

  아주 초보적인 수준이기는 하나, 이처럼 외부 보고서 데이터를 직접 접근함으로서 환각(hallucination) 현상으로 인해 존재하지 않는 문헌을 지어내는 상황을 예방하는 경험을 바탕으로, 언더스코어는 지난 2024년 여름, 보다 뛰어난 성능의 <학술연구DB 기반 논문 리뷰 솔루션>을 개발했습니다.

• 저희가 개발한 본 술루션은 유저가 자유롭게 작성한 연구 질문을 3~4가지의 하위 질문으로 분할하고, 그에 걸맞는 학술 연구들을 조합하여 최종적으로 연구 보고서를 작성합니다.

  

  연구 보고서 생성은 LLM이 수행하나, 학술논문 검색·수집·분석은 이와 분리된 별도의 엔진에 의해 진행되기에 존재하지 않는 가짜 출처를 허위 생성하는 문제가 발생하지 않습니다. 질문 입력부터 최종 보고서 응답 생성까지는 약 20분의 시간이 소요되며, 각 링크의 답변 내용은 약 1.5만자 분량입니다.

• 또한 네트워크 분석을 바탕으로 인용의 중심부에 있는 논문을 더 우선순위로 선별하고, 약탈적 학술지(predatory journal)에 게재된, 낮은 수준의 연구들을 필터링하는 과정 역시 포함되어 있기에, 실제로 석·박사 학위 이상의 고숙련 전문가들의 문헌·자료 조사와 같은 성능의 보고서 생성 자동화가 가능해집니다.

• 덕분에 저희는 6개월 이후 출시된 OpenAI의 Deep Research보다도 훨씬 높은 성능의 학술 자료 기반 답변을 얻는 서비스를 설계할 수 있었습니다.

  한국 경제가 부동산 가격으로 지탱되고 있고, 이로 인해 가계 부채나 금리 인상에서의 제약 등 여러 문제가 생긴다는 지적이 있어. 구체적으로 어떤 문제가 발생할 수 있고, 이를 어떻게 해결해 볼 수 있을까?

  아래는 동일하게 위의 부동산 관련 질문을 했을 때의 OpenAI Deep Research와 저희 서비스의 답변 결과를 비교한 결과입니다. (*Deep Research는 하위 질문 4개를 자동 생성하지 않기에 직접 입력함)

  • OpenAI Deep Research 답변 : https://chatgpt.com/share/67bb80b0-4e40-800c-8672-b584149bed56
  • 언더스코어 서비스의 답변 : [학술연구DB 기반 질문봇] 부동산 기반의 한국 경제

• 현재 언더스코어는 학술 DB에 등록된 해외 학술 논문들만을 바탕으로 응답을 제공하고 있습니다. 지난 2024년 여름부터 매일 약 1,000건 가량 수집 중인 외신 기사 본문들, 매월 400여개 씩 수집 중인 씽크탱크, 국제기구, 컨설팅펌의 연구보고서와 매일 900여개 씩 축적되는 외신 뉴스 데이터, 국내 부처·정부출연연구기관들이 작성한 연구보고서(NKIS, PRISM) DB를 함께 활용할 수도 있기에 서비스의 확장 방향성은 열려있습니다.

<aside> 📒

실제 활용 예시

</aside>

[학술연구DB 기반 질문봇] 부동산 기반의 한국 경제

[학술연구DB 기반 질문봇] 의대 증원

[학술연구DB 기반 질문봇] 연금 개혁과 세대 문제

[학술연구DB 기반 질문봇] 사교육과 교육 불평등