AI 토큰 비용 폭탄 KPMG 보고서로 본 기업 AI 예산 관리 실패와 Claude 라이선스 5억달러 사례

기업들이 AI 도입 경쟁에서 치른 대가가 청구서로 돌아오고 있습니다. KPMG가 실시한 조사에서 자사의 AI 비용을 종합적으로 파악하고 있는 기업은 전체의 25%에 불과한 것으로 나타났습니다. 한 AI 컨설턴트의 고객사는 Claude 라이선스 사용 한도를 설정하지 않은 채 단 한 달 만에 **5억 달러(약 6,800억 원)**를 지출했습니다.

이 수치는 단순한 과소비의 문제가 아닙니다. AI를 도입한 기업들이 그 비용 구조를 근본적으로 이해하지 못한 채 전사 배포를 감행했다는 사실을 드러냅니다. 이 글에서는 토큰 비용이 왜 예측하기 어려운지, 기업들이 어떤 실수를 반복하고 있는지, 그리고 한국 기업들에게 어떤 시사점이 있는지를 분석합니다.

기사원문보기

AI 비용 청구서 실태: KPMG 조사가 드러낸 수치

KPMG의 조사 결과는 기업 AI 거버넌스(AI 사용을 관리하는 체계)의 현주소를 적나라하게 보여줍니다.

기업의 25%만이 AI 비용을 종합적으로 파악하고 있으며, 약 50%는 부분적인 가시성만 확보하고 있습니다. 나머지 20%는 월말 청구서가 도착하기 전까지 비용을 전혀 알지 못합니다. KPMG 글로벌 AI 총괄 Steve Chase는 “이것은 지수적으로 성장하는 새로운 자원”이라고 설명하며, 기존의 소프트웨어 예산 관리 방식으로는 대응이 불가능하다고 지적했습니다.

특히 주목할 사례는 KPMG가 지원하는 한 클라이언트로, 연간 토큰 및 클라우드 컴퓨팅 예산을 수개월 만에 소진했으며, 또 다른 클라이언트는 토큰 사용량이 6배 급증한 것으로 보고되었습니다.

토큰이란 무엇이며 왜 예산 관리가 어려운가

**토큰(token)**은 AI 모델이 텍스트를 처리하는 기본 단위입니다. 단어 하나가 1개 토큰이 되기도 하고, 긴 단어는 여러 개의 토큰으로 분리되기도 합니다. 한국어는 영어보다 토큰 소비량이 더 많은 경우가 많습니다.

문제는 이 토큰이 기존 소프트웨어 라이선스처럼 ‘좌석 수’로 계산되지 않는다는 점입니다. 직원 한 명이 하루에 짧은 질문을 5번 하는 것과, 긴 문서를 반복 분석하며 수백 번 질의하는 것은 비용 차이가 수십 배에 달할 수 있습니다. 또한 일부 토큰은 캐싱(재사용 처리)이 가능해 추가 비용이 발생하지 않지만, 새로운 맥락의 요청은 매번 새로운 비용을 유발합니다.

보스턴대학 분석학 교수 Sam Ransbotham은 “비용을 내는 사람과 AI를 사용하는 사람이 다를 때 항상 문제가 생긴다”고 지적합니다. 직원들은 비용을 의식하지 않고 자유롭게 사용하고, CFO는 달 말에 청구서를 받고 충격을 받는 구조입니다.

Amazon 사례와 AI 사용량 리더보드의 역설

비용 폭탄보다 더 흥미로운 현상은 Amazon의 내부 AI 사용량 리더보드 사건입니다. Amazon은 직원들의 AI 활용을 독려하기 위해 사용량 순위를 공개하는 리더보드를 운영했습니다. 그런데 직원들이 순위를 높이기 위해 의미 없는 작업을 AI 에이전트에게 반복 할당하는 사태가 벌어졌고, 결국 Amazon은 해당 리더보드를 폐쇄했습니다.

뉴욕대 스턴경영대학원 교수 Baruch Lev는 이 상황을 “사용량이 많다고 효율적인 것이 아니다”라는 말로 요약합니다. 그는 기업이 두 가지 지표를 동시에 가져야 한다고 주장합니다. AI를 얼마나 사용했는지와, 그 사용이 어떤 이익을 만들었는지입니다. 현재 대부분의 기업은 전자만 측정하거나, 두 가지 모두 측정하지 않습니다.

Coinbase Brian Armstrong이 제시한 현실적 해법

Coinbase CEO Brian Armstrong은 X(구 트위터)에서 현실적인 방향을 제시했습니다. 그는 “AI에 대한 수요는 사실상 무한하지만, 80%의 업무는 12~18개월 내에 99% 저렴한 모델로 처리될 것”이라고 전망했습니다. 고급 최신 모델은 과학적 돌파구나 복잡한 추론이 필요한 20%의 작업에만 집중 투입해야 한다는 논리입니다.

이는 실제로 많은 기업이 도입을 검토 중인 모델 라우팅(model routing) 전략입니다. 간단한 질문은 소형 저가 모델로, 복잡한 분석은 대형 고가 모델로 자동 분배하는 방식입니다. 내일 날씨를 묻는데 최고사양 AI를 쓰는 것은 “수십억짜리 망치로 작은 못을 박는 것”이라는 비유가 설득력을 얻고 있습니다.

한국 기업에게 미치는 영향과 대응 전략

한국 기업들도 이 흐름에서 자유롭지 않습니다. 국내 대기업과 중견기업들도 Microsoft Copilot, Claude, ChatGPT Enterprise 등을 전사 도입하는 사례가 늘고 있습니다. 그러나 비용 가시성 확보와 ROI 측정 체계 없이 도입부터 앞세우는 패턴이 반복되고 있습니다.

실질적으로 필요한 것은 세 가지입니다. 첫째, 부서별 토큰 사용 한도 설정입니다. 무제한 사용 권한을 주는 것은 임직원에게 법인카드 한도 없이 발급하는 것과 다르지 않습니다. 둘째, 업무 유형별 모델 분리 운영입니다. 모든 업무에 최고급 모델을 사용하는 것은 비효율입니다. 셋째, 월별 AI 지출 대비 생산성 지표 병행 측정입니다. 비용만 볼 것이 아니라 그 비용이 만들어낸 가치를 함께 추적해야 합니다.

AI 비용 거버넌스는 이제 경영진 의제입니다

AI가 “혁명”이라는 데는 많은 전문가들이 동의합니다. 그러나 모든 혁명에는 관리 체계가 필요합니다. Baruch Lev 교수의 말처럼, “아무리 유익한 자원이라도 최대로 사용해야 하는 자원은 없습니다.”

KPMG 데이터가 보여주는 현실은 명확합니다. 기업의 75%가 자신이 AI에 얼마를 쓰고 있는지 정확히 모른 채 지출하고 있습니다. 토큰 거버넌스는 이제 IT팀의 기술 과제가 아니라, CFO와 CEO가 함께 다뤄야 할 경영 전략 과제입니다. AI 도입의 성숙도는 사용량이 아닌, 측정 가능한 성과로 판단해야 할 시점이 왔습니다.

#AI비용관리 #토큰거버넌스 #KPMG #Claude #기업AI #Coinbase #BrianArmstrong #AI예산