AI 에이전트 신뢰성 검증: 심층분석 스택의 등장과 산업 영향
인공지능 연구 도구의 대부분은 동일한 단로 출발합니다. 언어 모델을 웹에 연결하고, 무언가를 찾아오라고 지시한 뒤, 그 출력을 신뢰하는 방식입니다. 결과물은 읽기에 훌륭해 보입니다. 그러나 정확한지, 그리고 그것을 누구나 어떻게 확인할 수 있는지에 대해서는 아무도 책임지지 않습니다.
검색하는 것과 아는 것 사이의 격차
미국의 AI 스타트업 식스티포(SixtyFour)의 창업자 사트 샤(Saarth Shah)는 이 문제를 수년 전에 짚어냈습니다. 그가 만든 시스템은 매번 구축될 때마다 전문가 팀이 수작업으로 만든 질문 목록과 실제 사례에 대해 평가를 받습니다. 세로(수직) 산업별로 채점이 이루어지며, 그 점수가 배포 여부를 결정합니다. 이 엄격한 규율 덕분에 한 결제 서비스 기업은 사람 분석 대신 식스티포의 소프트웨어가 낯선 사람의 실재 여부를 판단하도록 허용합니다.
환각이 아닌 도달 범위의 한계
한동안 업계는 환각(hallucination), 즉 모델이 사실과 출처를 날조하는 습관을 주된 문제로 지목했습니다. 이 문제는 실제로 존재하며 점차 개선되는 추세입니다. 최첨단 모델은 일년 전보다 환각이 줄었고, 실시간 웹 검색과의 결합은 격차를 더욱 좁혔습니다.
그러나 샤가 주목하는 한계는 모델의 상상력이 아닙니다. 모델의 도달 범위(reach)입니다.
검색 상자가 있는 언어 모델은 브라우저를 사용하는 사람이 보는 것만 볼 뿐, 그 이상을 볼 수 없습니다. 조사에 결정적인 사실들은 통상적으로 표면 아래에 자리합니다. 라이선스가 부여된 기록, 독점 데이터, 인덱싱되지 않은 서류, 그리고 사기 구조가 숨기 위해 만든 복잡한 법인 네트워크 속에 분포되어 있습니다. 표면 수준의 연구로는 이를 접근할 수 없습니다.
“모델은 점점 더 좋아지고 있지만, 여전히 브라우저를 사용하는 사람이 볼 수 있는 것만 봅니다.” 샤는 설명합니다. “이 분야에서 중요한 답은 그보다 몇 단계 더 깊은 곳에 있으며, 직접 찾아가서 가져와야 합니다.”
차이를 만드는 것은 무엇인가
전 세계 기업의 약 96%가 이제 AI 에이전트를 운영하고 있습니다. 질문에 답하는 시스템과 정확하게 답하는 시스템 사이의 격차는 생산 환경에서의 AI가 직면한 핵심 문제가 되었습니다.
대표적인 경쟁 사례로 랭체인(LangChain)과 랙(RAG) 기반 시스템을 들 수 있습니다. 랭체인은 여러 도구를 체인으로 연결하여 처리 흐름을 자동화하는 프레임워크입니다. 랙은 검색 증강 생성(retrieval-augmented generation)의 약자로, 외부 문서를 검색하여 언어 모델의 답변에 반영하는 기술을 말합니다. 이 두 접근법 모두 유용하지만, 본질적으로 모델이 볼 수 있는 정보의 범위를 확장하는 데 집중합니다. 식스티포가 다른 점은 정보의 출처 증명(provenance)을 시스템의 핵심으로 설계했다는 것입니다.
한국의 기업 환경에서 생각해 보겠습니다. 국내 주요 대기업과 금융 기관들은 이미 자체 AI 에이전트를 도입하여 고객 응대, 내부 문서 분석, 리스크 평가에 활용하고 있습니다. 그러나 이러한 시스템이 제시하는 정보가 과연 어디서 왔는지, 어떤 근거에 기반하는지 추적할 수 있는 경우는 드뭅니다. 특히 공시 정보, 법적 서류, 제재 목록 등이 복잡하게 얽힌 한국의 비즈니스 환경에서는 표면 정보만으로는 리스크를 정확히 판단하기 어렵습니다.
소스까지 거슬러 올라가는 보고서
식스티포의 에이전트는 실패하는 두 가지 옵션, 즉 오래되어 쓸모없어지는 정적 데이터베이스와 일반 모델의 즉흥적 처리 사이에 자리합니다. 각 조사는 실시간 웹 리서치, 공공 기록, 주() 및 법적 서류, 오픈소스 인텔리전스(osint, 공개적으로 접근 가능한 정보를 체계적으로 수집 분석하는 방법), 라이선스 데이터를 융합한 뒤, 모든 주장이 출처를 훑어볼 수 있는 보고서로 편집됩니다.
실제 작동 방식을 비유하자면, 한 건의 질의는 여러 갈래로 퍼져 나갑니다. 특정 판매자를 검증하도록 요청하면, 그 에이전트는 법인 서류를 가져오고, 주소와 임원진을 교차 확인하며, 제재 목록과 소송 기록을 스캔하고, 해당 기업의 실질적 웹 존재를 실시간으로 탐색합니다. 법정에서 요구할 수 있는 수준의 출처 증명이 모든 답변에 내장되어 있는 것입니다.
한국 기업에 미치는 영향
이러한 평가 중심의 설계 철학은 한국의 AI 도입 기업들에게 몇 가지 중요한 시사점을 제공합니다.
첫째, AI 에이전트의 도입 판단 기준이 성능에서 신뢰성으로 이동하고 있습니다. 한국 금융감독원과 개인정보보호위원회가 요구하는 데이터 처리의 투명성 요건을 충족하기 위해서는, 답변의 출처를 추적할 수 있는 아키텍처가 필수적입니다.
둘째, 산업별 전문 데이터와의 결합이 경쟁력의 핵심이 됩니다. 한국의 의료, 법률, 금융 분야에서는 공개 웹만으로는 접근할 수 없는 전문 데이터베이스가 존재합니다. 이들 데이터와의 체계적인 연결은 단순한 검색 기능을 넘어, 정확한 의사결정 지원으로 나아가는 길입니다.
셋째, 평가 문화의 정착이 필요합니다. 식스티포의 사례처럼, 모든 모델 구축 버전을 전문가가 설계한 기준에 따라 채점하고 그 점수를 의사결정에 반영하는 문화가 한국의 AI 생태계에도 자리잡아야 합니다. 이를 테면 대출 심사, 고객 신원 확인, 공급망 리스크 평가 등에서 활용되는 AI 시스템의 정확성을 지속적으로 모니터링하고 개선하는 체계를 구축하는 것이 핵심입니다.
마무리: 정확함을 증명하는 시대의 도래
AI 에이전트가 기업의 핵심 의사결정에 직접 관여하는 시대가 이미 열렸습니다. 이제 질문은 “이 에이전트가 할 수 있는가”가 아니라 “이 에이전트의 답변이 어디에 근거하는가”로 바뀌고 있습니다. 식스티포가 보여준 평가 스택의 구조는 단순한 기술적 혁신이 아닙니다. 신뢰를 엔지니어링하는 새로운 패러다임입니다.
한국의 기업과 개발자들은 이제 AI 시스템을 구축할 때 성능 지표뿐 아니라 검증 가능한 출처 증명, 지속적인 평가 프레임워크, 산업별 전문 데이터와의 유기적 결합을 설계의 중심에 놓아야 합니다. 표면을 훑는 수준의 AI에서 깊이를 파고드는 AI로의 전환은, 더 나은 답변을 넘어 더 안전하고 책임 있는 기술 사용의 시작입니다.
#AI에이전트 #평가프레임워크 #검증시스템 #기업용AI #신뢰성 #식스티포 #한국AI #금융AI #RAG #AI거버넌스