(이코노미아울렛-뉴스)
기업이 컴플라이언스(규정 준수) 분야에 AI를 도입할 때, 날짜를 잘못 파악하는 것은 곧 기한 미준수를 의미한다. 이보다 더 위험한 실패는 모델이 높은 확신을 가지고 오답을 내놓는 경우다. 이러한 오류는 컴플라이언스 캘린더에 조용히 섞여 들어가 기한이 지난 후에야 뒤늦게 발견된다. 아처(Archer® )가 발표한 테스트 결과에 따르면, 특수 목적 AI는 핵심 규제 준수 업무에서 범용 대규모 언어 모델(LLM)을 압도적으로 능가하며, 그 격차 또한 상당한 것으로 나타났다. 이번 직접 비교 테스트는 6개 관할권에 걸쳐 규제 문서의 공표일, 발효일 및 의견 수렴 마감일을 판별하는 핵심 컴플라이언스 과제를 두고, 아처의 특수 목적 버티컬 전용 AI 및 독점 데이터 세트를 선도적인 범용 LLM과 비교 분석했다.
범용 모델이 진정한 혁신이라는 점에는 이견이 없으며, 이번 테스트 역시 그 품질을 평가하려는 목적이 아니다. 아처가 답하고자 한 질문은 보다 좁고 실용적이다. 즉, ‘위험도가 높은 특정 결정을 대규모로 내릴 때 신뢰도(정확성), 속도, 그리고 합리적인 비용을 모두 충족하기 위해서는 무엇이 필요한가’라는 것이다. 전문가가 검증한 지식 기반에 근거한 버티컬 도메인 중심 프로세스는 이 세 가지 측면 모두에서 우위를 점했다.
정확도: 오답 90% 감소 동일한 55개 문서를 대상으로 한 테스트에서 범용 LLM은 56%의 오답률을 기록했다. 모델의 ‘확신도’는 상황을 개선하기는커녕 오히려 악화시켰다. 높은 확신을 갖고 내놓은 답변 중 35%가 여전히 오답이었기 때문이다. 반면 아처 이볼브를 사용했을 때는 판별의 95% 이상이 즉각 검증되었고, 나머지는 실제 사용 전 전문가에게 전달되었다. 단 하나의 잘못된 날짜도 프로덕션 환경에 유입되지 않았으며, 검증되지 않은 결과는 아예 제공되지 않았다.
(표의 내용은 pdf 참조. 다운로드:
https://bit.ly/3SEvik6)
모델 자체의 확신도는 통제 수단이 될 수 없다. 범용 LLM이 높은 확신으로 평가한 답변 중 35%가 오답이었다는 사실이 이를 증명한다. 이러한 정확도의 격차를 해결하는 것은 책임 있는 에이전틱 AI(Agentic AI) 배포를 위한 필수 전제 조건이다. 자율 운영 에이전트의 신뢰도는 오로지 그 기반이 되는 판별의 정확성에 달려 있기 때문이다. 검증되고 출처 추적이 가능하며 전문가가 관리하는 답변만이 기업 전반에 AI 에이전트를 안전하게 배포할 수 있게 해준다. 이것이 AI 거버넌스의 핵심이며, 아처는 바로 이러한 기반 레이어를 제공하기 위해 구축되었다.
카이반 알리카니(Kayvan Alikhani) 아처 최고제품기술책임자(CPTO)는 “컴플라이언스 분야에서 빠르고 저렴하지만 틀린 답변은 무가치하며, 출처를 추적할 수 없는 답변은 법적 책임 문제로 돌아온다”며 “아처의 특수 목적 AI는 판별의 95% 이상을 실시간으로 검증했다. 이는 기업이 결과에 대한 통제력을 유지하면서 AI 에이전트를 확장할 수 있게 해주는 든든한 토대”라고 말했다.
속도: 실시간으로 검증된 답변 요청당 범용 프로세스는 5초의 타임아웃 제한 내에서 응답당 평균 약 4초가 소요됐다. 반면 아처 이볼브는 약 100분의 5초(0.05초) 만에 검증된 날짜를 제공해, 반복 조회 시 약 80배 더 빠른 속도를 보였다. 규제 캘린더의 빡빡한 일정에 맞춰 업무를 수행해야 하는 AI 에이전트와 분석가에게 이 정도의 속도 차이는 여유롭게 일정을 소화하느냐, 아니면 병목 현상에 시달리느냐를 가르는 결정적 요인이 된다.
비용: 온디맨드 추론이 아닌 영구적인 검증 지식 기반 범용 프로세스는 이전에 찾은 결과에 대한 기억 없이 모든 요청마다 답변을 다시 계산한다. 하지만 아처 이볼브는 데이터 수집 시 단 한 번만 계산을 수행하고, 그 결과를 확장 가능하고 전문가가 관리하는 지식 기반에 검증 및 저장하여 향후 모든 조회에 지속적으로 활용하므로 비용과 지연 시간을 크게 줄일 수 있다. 규제가 수정될 경우, 아처 이볼브는 사전에 변경 사항을 포착해 재검증을 거쳐 업데이트된 답변의 버전을 관리한다. 오래되어 효력이 없는 정보는 절대 제공되지 않는다. 500개의 문서 코퍼스(말뭉치)를 월 12회 조회한다고 가정할 때, 단 500건의 계산만으로 6000건의 판별이 이뤄진다. 아처 이볼브는 이를 통해 추론 호출의 약 92%를 절감하며, 이러한 구조적 비용 절감 효과는 데이터 볼륨이 증가할수록 더욱 커진다.
이를 가능하게 만드는 ‘맥락(Context)’의 힘 아처 이볼브의 우위는 맥락에서 비롯된다. AI가 실행되기 전에 조직의 관할권, 제품, 사업부, 리스크, 규제 테마를 미리 평가하여 모든 판별이 해당 기업과 직접적으로 관련된 정보에 기반하도록 보장한다. 이것이 바로 ‘단순한 답변’과 ‘방어 가능한 답변’의 차이다. 기업이 더 많은 에이전트를 배포할수록 이 기반의 가치는 더욱 빛을 발한다. 모든 에이전트가 처음부터 모든 것을 다시 파악하는 대신, 동일하게 검증되고 출처 추적이 가능한 기초 데이터를 그대로 상속받아 활용하기 때문이다.
빌 디아즈(Bill Diaz) 아처 최고경영자(CEO)는 “향후 10년간 서비스형 소프트웨어(SaaS) 시장에서 승리하는 기업은 도메인 특화 AI를 파운데이션 모델이 결코 복제할 수 없는 독점적이고 버티컬 전용인 맥락과 결합하는 기업일 것”이라며 “그것이 바로 강력한 경쟁 우위(해자)이자 시간이 지날수록 복리로 축적되는 자산이며, 이번 테스트가 그 명백한 증거”라고 강조했다.
전체 방법론, 소스 데이터 및 사례 연구는 아처의 사고 리더십 웹사이트(
compliance.ai/evolv_assets/case-01-evolv-vs-raw-llm.html)에서 확인할 수 있다. 아처 이볼브의 실제 작동 방식은 웹사이트(
www.archerirm.com)에서 확인할 수 있다.
EconomyOutlet