케이잡스 김문수·한상도, 한국어 상담AI 평가 신뢰성 연구 논문 arXiv 공개

경제뉴스
2026-11-16 09:14 AM
(이코노미아울렛-뉴스)

AI자율상담기업 케이잡스(K·JOBS)의 상담AI 개발 현장에서 출발한 문제의식이 국제 연구 논문으로 공개됐다. 한국어 상담을 평가하는 대규모언어모델(LLM)의 판정이 평가 기준의 언어와 문장 구조에 따라 달라질 수 있음을 대규모 실험으로 분석한 연구다.

케이잡스 김문수 AI연구원장과 한상도 AI제품센터장은 논문 ‘Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues’를 11월 3일 국제적으로 이용되는 공개 연구 플랫폼 arXiv에 발표했다. 김문수 원장은 케이잡스의 AI 연구 방향과 자율상담 연구를 총괄하고 있으며, 한상도 센터장은 상담AI를 비롯한 지능형 제품의 기술 개발을 맡고 있다.

16쪽 분량의 논문에는 실험 자료와 판정 로그, 사전 분석 계획, 분석 코드가 부속 파일로 함께 공개됐다. 연구진은 다른 연구자가 분석 과정을 확인하고 결과를 재현할 수 있도록 연구 자료를 투명하게 공개했다.

이번 연구는 케이잡스가 한국어 기반 자율상담 서비스를 개발하고 품질을 점검하는 과정에서 마주한 질문에서 시작됐다. 같은 상담 내용이라도 평가 기준이 한국어인지 영어인지, 긍정형인지 부정형인지에 따라 LLM 평가자의 판단이 달라진다면 상담AI의 품질 평가도 흔들릴 수 있다는 문제의식이다.

연구진은 상담자의 행동을 평가하는 12개 기준을 긍정형, 부정형, 조건형, 예외형의 네 가지 문장 구조로 만들고, 이를 한국어와 영어로 각각 제시했다. 이어 자연 대화 60건과 경계 사례 144건을 대상으로 글로벌 3개 AI 제공사의 저비용 모델 6개와 참고 모델 1개에 총 5만1744건의 평가를 요청했다. 연구 가설과 분석 방법은 데이터 수집 전에 확정해 공개 저장소에 기록했다.

분석 결과, 서로 다른 제공사 모델 간 판정 합의도를 나타내는 코헨의 카파(Cohen’s kappa)는 한국어 평가 기준에서 0.687, 영어 평가 기준에서 0.745로 나타났다. 한국어로 작성한 평가 기준에서 모델 간 합의도가 더 낮았다는 의미다.

문장 구조에 따른 차이도 뚜렷했다. 부정형·조건형·예외형 기준의 모델 간 불일치 오즈는 긍정형보다 평균 5.6배 높았다. 의미가 같은 기준을 문장 구조만 바꿔 제시했을 때도 한 모델이 판정을 바꾸는 사례가 약 11~15% 발생했다.

논문의 핵심 기여는 한국어 LLM 평가에서 ‘어떤 모델을 사용하는가’뿐 아니라 ‘평가 기준을 어떤 언어와 문장 구조로 작성하는가’도 판정의 일관성을 좌우할 수 있음을 수치로 제시한 데 있다. 연구진은 평가 기준을 가능한 한 명확한 긍정형 문장으로 작성하고, 부정·조건·예외가 포함된 항목은 복수 모델을 이용한 일관성 점검을 거칠 필요가 있다고 제안했다.

김문수 케이잡스 AI연구원장은 “케이잡스 상담AI 개발 과정에서 발견한 질문을 국제 연구가 검증할 수 있는 형태로 확장했다는 점에 의미가 있다”며 “현장의 문제를 논문과 공개 데이터로 남기고, 그 결과를 다시 서비스 품질 향상으로 연결하는 연구개발 체계를 강화하겠다”고 말했다.

한상도 케이잡스 AI제품센터장은 “같은 의미의 평가 기준도 언어와 문장 구조가 달라지면 AI의 판정이 달라질 수 있음을 대규모 비교 실험으로 확인했다”며 “한국어 상담AI를 개발하는 기업과 기관이 평가 기준 자체를 중요한 품질관리 대상으로 다뤄야 한다는 실무적 근거를 제시한 연구”라고 설명했다.

케이잡스는 연구 결과를 자율상담 서비스의 평가 기준 설계와 품질 점검에 연결할 계획이다. 의미가 같은 항목을 서로 다른 문장 구조로 교차 확인하고, 복잡한 조건이 포함된 기준은 여러 모델의 판정을 비교해 AI상담의 품질관리를 과학적으로 계속 고도화할 방침이다.

연구의 출발점이 된 케이잡스 자율상담 서비스는 전화와 웹에서 실제 운영되고 있다. 케이잡스 AI 콜센터는 일반 취업, 전직 지원, 소상공인 재취업·재도전, 지자체 일자리, 대학생 취업, 외국인 취업, 군 전역 후 취업, 시니어 재취업 등 상황별 AI 상담을 24시간 제공한다.

이용자는 ‘퇴직 후 새 일을 찾고 싶다’, ‘군 경력을 살려 취업하고 싶다’처럼 자신의 상황을 말하면 안내 AI를 통해 적합한 분야의 상담사로 연결된다. 24시간 AI 전화상담으로 진행되며, 케이잡스 웹사이트에서는 음성 또는 채팅 상담과 분야별 서비스를 확인할 수 있다.

이번 논문은 상담AI의 효과나 안전성을 입증한 연구가 아니라 LLM 평가 판정의 일관성을 측정한 연구다. 사람의 정답 라벨을 사용하지 않았으며, 현재 동료평가 전 공개된 arXiv 프리프린트다.


함께 보면 좋은 콘텐츠

All posts
경제뉴스 2024-08-01 10:30 AM

EU BEEF ASIA, 서울국제식품박람회에 다시 돌아오다

(이코노미아울렛-뉴스)유럽의 고품질 소고기를 홍보하는 EU BEEF ASIA의 ‘Nice To Beef You’ 프로그램이 선도적인 두 유럽 소고기 협회인 프로바쿠노, 아쏘카르니와 함께 국제 무역 박람회 ‘2024 서울국제식품산업대전’으로 성공적인 귀환을 알렸다. ...

경제뉴스 2024-08-13 16:04 PM

성북문화재단, 출연기관 경영평가 ‘가’ 등급으로 ‘최우수’

(이코노미아울렛-뉴스)성북문화재단(대표이사 서노원, 이하 재단)이 2023 성북구 출자·출연기관 경영평가에서 ‘가’ 등급을 받으며 최우수 기관으로 선정됐다. 성북문화재단 전경 이번 평가...

경제뉴스 2024-07-19 16:50 PM

LTI마인드트리, 압사 은행의 혁신 여정에서 전략적 기술 파트너십 재확인

(이코노미아울렛-뉴스)글로벌 기술 컨설팅 및 디지털 솔루션 회사인 LTI마인드트리(LTIMindtree)[인도국립증권거래소: LTIM, 봄베이증권거래소: 540005]는 아프리카의 선도적인 금융 서비스 그룹인 압사 은행(Absa Bank)과 수백만 달러 규모의 계약을 연장한다고 오늘 발표했다. 이로써 LTI마인드트리는 압사 은행...

경제뉴스 2024-07-12 11:45 AM

LTIMindtree and Snowflake Strengthen Joint Commitment to Enable Enterprises to Accelerate AI Adoption Journey

(이코노미아울렛-뉴스)LTIMindtree [NSE: LTIM, BSE: 540005], a global technology consulting and digital solutions company, today announced the launch of Canvas.ai, LTIMindtree’s cutting edge enterprise ready AI platform, on the Snowflake AI Data Cloud. This new integration further enhances LTIMindtree’s AI capabilities, unlocks unparalleled flexibility and accelerated development, for o...

경제뉴스 2024-08-14 14:28 PM

KPR, 혹서기 쪽방촌 주민 위해 의류 및 여름용품 지원

(이코노미아울렛-뉴스)종합 커뮤니케이션그룹 KPR (사장 김주호)이 서울 종로구 돈의동 쪽방 거주민의 혹서기 극복을 위한 의류와 여름용품 등을 지원했다고 14일 밝혔다. KPR 임직원들과 돈의동쪽방상담소 관계자가 기념 사진 촬...

경제뉴스 2024-06-28 09:14 AM

Rimini Street India Places Top 20th in Nation as India’s Great Mid-Size Workplaces 2024

(이코노미아울렛-뉴스)Rimini Street, Inc. (Nasdaq: RMNI), a global provider of end-to-end enterprise software support, products and services, the leading third-party support provider for Oracle and SAP software, and a Salesforce and AWS partner, today announced that Rimini Street India has placed in the Top 20th ranking for India’s Great Mid-Size Workplaces 2024, a recognition building o...

경제뉴스 2024-06-28 09:45 AM

현대로템, 2024 지속가능경영보고서 발간

(이코노미아울렛-뉴스)현대로템이 4년 연속 지속가능 성장을 위한 전략을 제시했다. 현대로템은 환경·사회·지배구조(ESG) 관련 주요 성과 및 목표를 담은 ‘2024 지속가능경영보고서’를 발간했다고 28일 밝혔다. 2024 현대로템 지...

경제뉴스 2024-07-12 13:45 PM

앤더슨 글로벌, 나이지리아와 남아공에 가치 평가 역량 추가로 아프리카 플랫폼 강화

(이코노미아울렛-뉴스)앤더슨 글로벌이 아프리카 지역 내 가치 평가 역량을 추가하고, 나이지리아의 넬슨 소프 알롱제(Nelson Thorpe Alonge)와 남아프리카 공화국의 발레오 캐피털(Valeo Capital) 등 신규 협력사 두 곳을 추가하여 전체 지역 커버리지를 강화했다. 이번 확장을 통해 앤더슨은 북미, 유럽, 라틴 아...

경제뉴스 2024-07-09 08:35 AM

현대자동차, 2024년 임금교섭 ‘6년 연속 무분규’ 잠정합의

(이코노미아울렛-뉴스)현대자동차 노사가 파업 없이 2024년 임금교섭 잠정합의안을 마련했다. 상견례 이후 46일 만에 합의했으며, 2019년 이후 6년 연속 무분규 기록이다. 현대차 노사는 8일 울산공장 본관 동행룸에서 열린 11차 임금교섭에서 이동석 대표이사와 문용문 노조 지부장 등 노사 교섭대표...

경제뉴스 2024-08-07 15:05 PM

바이오룸, 2024 농식품 창업 콘테스트 결선 진출… Top 11 선정

(이코노미아울렛-뉴스)킹슬리벤처스의 보육 기업인 바이오룸(BioRoom)은 지난 7월 ‘2024 농식품 창업 콘테스트’ 본선 심사에 합격해 결선 진출 Top 11팀에 선정되는 쾌거를 이뤘다고 밝혔다. 이번 성과는 바이오룸의 혁신적인 아이디어와 기술력을 다시 한 번 입증하는 계기가 됐다. ...

경제뉴스 2024-07-04 10:12 AM

한국 딜로이트 그룹 ‘딜로이트 Consumer Signals 인덱스’ 공개

(이코노미아울렛-뉴스)팍팍한 재무 상황이 이어지며 민간 소비가 좀처럼 회복되지 못하는 가운데, 글로벌/한국 소비자 심리 파악 및 기업 전략 수립에 유용한 분석 지표가 공개됐다. 한국 딜로이트 그룹이 발표한 ‘딜로이트 Consumer Signals(Link)’ 인덱스는 한국 포함 20개국 국가별 18세 이상 1000명 대상 설...

경제뉴스 2024-08-22 15:00 PM

‘2024 에피 어워드 코리아’ 수상작 발표

(이코노미아울렛-뉴스)대한민국을 대표하는 마케팅 캠페인을 시상하는 ‘2024 에피 어워드 코리아(Effie Awards Korea)’가 올해 본상 수상작 28편을 발표했다. 2024 에피 어워드 코리아 ‘그랜드 에피’ 수상작 ‘한국의 맛’ 광고 갈...

Top