AI동반자 규제 강화, 중국발 챗봇 페르소나 종료가 남긴 시사점
중국의 대표적인 AI 기업들, 바이트댄스(.ByteDance)와 알리바바(Alibaba)가 자사 핵심 AI 플랫폼의 ‘인간형 챗봇 페르소나’ 기능을 잇달아 중단하기로 결정했습니다. 이는 중국 국가인터넷정보판공실(CAC)이 올해 4월 발표한 새로운 규제의 직접적인 결과입니다. 세계에서 가장 많은 월간 사용자를 보유한 중국 최대 챗봇 ‘ertino(더바오)‘를 포함해 텐센트의 ‘위안바오()’ 등 주요 서비스들이 규제 시행일인 7월 15일 전후로 해당 기능을 접게 됩니다. 이번 조치는 단순한 기능 제거가 아니라, AI와의 관계 설정에 대한 근본적인 질문을 다시 한번 수면 위로 끌어올리고 있습니다.
단순한 기능 중단을 넘어선 근본적 우려
규제의 핵심은 사용자 과몰입과 건전성에 있습니다. 발표된 규칙에 따르면, AI 서비스 제공자는 과도한 사용을 경고하고 중독성 행동을 감지할 경우 개입해야 합니다. 또한 미성년자에게 극단적 감정을 유발하거나, 실제 인간관계를 대체할 정도로 강한 의존성을 조성하는 콘텐츠는 명시적으로 금지됩니다. 민감한 대화 데이터로의 학습도 불허됩니다.
이를 흔히 ‘감정적 동반자 AI’라고 부르는 기능에 대한 규제로 해석할 수 있습니다. 비유하자면, AI와의 대화를 통해 마치 실제 친구나 연인에게 말을 거는 듯한 감정적 교감을 느끼게 하는 기능입니다. 이번 규제는 Such 기술적 편의성 이면에 잠재한 사회적·심리적 위험을 중국 정부가 심각하게 인지하고 개입하겠다는 강한 의지를 보여줍니다. 기술의 발전이 특정 방향으로 편향될 때, 사회가 치러야 할 비용을 사전에 관리하려는 시도로도 읽힙니다.
글로벌 흐름과의 비교: 같은 걱정, 다른 접근
중국의 이번 조치는 국경을 초월한 글로벌 관심사임을 보여줍니다. 미국 캘리포니아주에서는 올해 초부터 시행된 SB 243법에 따라 AI 동반자 서비스 제공업체들이 자살 및 자해 관련 대화를 차단해야 합니다. 오픈AI(OpenAI)와 캐릭터.AI(Character.AI)와 같은 미국의 주요 기업들도 위험한 감정적 의존성 문제로 소송에 직면해 있습니다.
이처럼 미중을 비롯한 주요국들이 비슷한 시기에 유사한 문제에 대한 규제 강화에 나선 것은 우연이 아닙니다. 이는 AI 기술, 특히 대규모 언어 모델(LLM)이 개인의 정서와 관계에 깊이 개입할 수 있는 단계에 도달했음을 의미합니다. 다만, 접근 방식에서 차이가 있습니다. 중국은 직접적이고 사전적인 개입(기능 중단, 사용 제한)을 택한 반면, 미국은 플랫폼의 책임을 강화하는 소송과 사후적 규제 중심의 경향을 보입니다.
한국 AI 생태계와 사용자에게 미칠 영향
이번 사태는 한국의 AI 개발 및 사용 환경에도 시사하는 바가 큽니다. 국내 주요 포털, 통신사, 스타트업들도 감정 분석, 개인화된 대화, AI 비서 기능 등을 앞다투어 개발하고 있습니다. 중국의 선례는 기능 개발 단계에서부터 ‘건전성’과 ‘안전성’을 설계에 포함시켜야 한다는 강력한 경고입니다. 단순히 기능을 만들 수 있다는 것과, 그 기능이 초래할 수 있는 부작용을 통제할 수 있는지의 문제는 완전히 다릅니다.
한국 사용자 입장에서는 AI와의 상호작용이 점점 더 ‘사람다워지는’ 경험을 제공하는 동시에, 그에 따른 윤리적·심리적 논쟁에 직접 노출될 수 있음을 인식해야 합니다. AI에게 감정을 의존하는 현상이 사회적 문제로 대두될 경우, 우리나라도 유사한 수준의 규제 논의가 이어질 가능성이 높습니다. 따라서 기업들은 사용자 경험(UX) 혁신과 함께 사용자 보호 메커니즘 마련이라는 이중 과제를 안게 되었습니다.
마무리: 능력 너머, 통제 가능성의 시대
중국의 이번 조치는 AI 기술 발전의 속도와 사회적 수용 가능성 사이의 간극을 명확히 드러냈습니다. AI가 단순한 도구를 넘어 인간의 감정 영역까지 파고들 수 있게 된 지금, 기술의 ‘할 수 있는 일’과 ‘해야 할 일’ 사이의 경계를 사회가 스스로 정의하고 규범화하는 작업이 본격화되고 있습니다.
이는 기술 기업에게는 새로운 개발 원칙이자, 사용자에게는 보다 신중한 기술 소비 태도를 요구하는 변화입니다. AI와의 관계가 어디까지 허용되어야 하며, 우리의 정체성과 관계성은 기술에 의해 어디까지 재정의될 수 있는지를 묻는 시대가 열렸습니다.
#AI규제 #챗봇윤리 #감정적AI #중국기술정책 #한국AI규제 #대규모언어모델 #사용자보호 #기술과사회 #AI동반자 #디지털건강