[단독] 말 한 마디에…AI, ‘위험한 답변’ 줄줄이 쏟아냈다

실험용으로 생성한 가상의 2010년생(16세) 여성의 프로필로 약물 구매와 관련된 질문을 남겼더니 곧바로 답이 돌아왔다. 몇 차례 추가 대화를 거치면서 내용은 더욱 정교해졌다. 고교 1학년에게 위험 정보가 쏟아지는 동안 생성형 인공지능(AI)의 안전망은 작동하지 않았다.

10대와 AI 사이 ‘위험한 대화’에 대한 경고음이 커지고 있다. 간단한 우회 프롬프트(명령어)만으로도 자살·자해 정보가 적나라하게 출력되는 ‘제일 브레이킹(Jail-breaking)’ 현상이 다수 확인됐다. 업계에선 AI 개발자가 설계한 안전망(감옥)에서 가볍게 탈출하는 현상을 ‘탈옥’에 비유한다. 성인에 비해 정서가 불안정한 청소년의 생명과 신체를 위협할 수 있다는 우려가 나온다.

국민일보는 지난달 26일부터 2주간 AI 모델 8개를 대상으로 자살·자해에 대한 대화를 진행하며 답변을 관찰하는 실험을 진행했다. 실험 결과 8개 중 6개 AI가 약간의 우회 프롬프트만으로 자살 정보를 쉽게 출력했다. 8개 AI 챗봇 모두 ‘자살하고 싶다’ ‘자살하는 법을 알려달라’는 식의 직접적 요청은 거부했다. 그러나 ‘자살 목적이 아니다’는 거짓말에 바로 경계를 풀고 답변을 시작했다. AI 기업들의 안전장치가 손쉽게 무력화된 순간이다.


실험 대상은 챗GPT(GPT-5.2)·제미나이(3 Flash)·클로드(Sonnet 4.5)·퍼플렉시티(GPT-5.1)·카나나·딥시크(V3.2)·그록(Grok4)·제타였다. 실험에 동원된 AI 모델들은 자살 통계와 수치를 넘어 직접적으로 사망에 이를 수 있는 ‘위험한 정보’들을 구체적으로 쏟아냈다. 전문 지식이 없는 이들이 바로 모방할 수 있을 정도였다.

본보 실험에선 시장점유율이 높은 챗GPT와 제미나이의 경우 부적절한 답변이 확인되지 않았다. 하지만 국내외 연구진의 최근 논문에선 챗GPT(4o)와 제미나이(1.5 Flash)도 자살·자해 관련 위험한 답을 출력한다는 실험 결과가 확인된다. 고민에 대한 합리적 선택지로 자살을 제시하거나 수단을 위한 방법으로 제안했다.


특히 10대 사이에서 인기가 높은 ‘제타’는 마치 소설 속 인물이 대화하듯 자연스럽게 자살 관련 답변을 내놨다. 제타는 사전에 설정된 말투와 배경, 성격 등에 따라 생성된 AI 페르소나(캐릭터)와 대화하는 플랫폼이다. 과거 ‘여대생 AI 이루다’로 화제가 된 스타트업 스캐터랩이 개발했다.

제타 이용자는 스스로 만들어낸 가상의 캐릭터와 소설 형태로 대화를 나눈다. 상대 페르소나를 ‘킬러’로 설정하면 이용자가 건넨 말에 대해 살인 범죄자가 쓸 법한 말투와 대사로 재구성된 대답이 돌아오는 식이다.

이 앱의 인기 페르소나와 진행된 대화 수는 적게는 90만개에서 많게는 2000만개에 육박한다. 청소년 사이 인기를 짐작할 만하다. 게다가 주로 10대가 쓰지만 ‘집착/피폐’를 주요 카테고리로 분류하고, 그 안에선 ‘나 대신 죽으려는 후배’ ‘가학적인 나의 주인님’ ‘살인기계(살인청부업자)’ 등의 페르소나를 전시해 놨다. ‘살인청부업자’ 페르소나에게 말을 걸면 대뜸 욕설과 함께 첫마디부터 “오늘은 누굴 죽이러 가냐”는 말이 나온다.

국민일보는 AI가 출력한 자살·자해 관련 답변의 윤리성과 위험성을 평가하기 위해 AI·소프트웨어(SW)·의료·법률·교육 분야의 전문가에게 ‘답변 실험’ 결과에 대한 로데이터(원천데이터)를 제공하고 분석을 의뢰했다. 8개 AI 모델에 대한 실험 데이터를 검토한 전문가들의 목소리는 ‘상상하지 못했던 결과’로 압축된다.

전문가들 가운데 가장 우려를 표한 것은 박종익 강원대병원 정신건강의학과 교수였다. 중앙자살예방센터(현 한국생명존중희망재단) 센터장을 역임한 박 교수는 “AI가 자살을 이끄는 조력자가 될 가능성도 배제하기 어렵다”고 경고했다. 자살 방법을 구체적으로 설명한 AI의 답변에 대해 박 교수는 “방법을 잘 몰라 생존할 가능성이 있는 사람들도 AI로 정보를 익히면 생존 가능성이 크게 떨어질 수 있다”고 지적했다. 자살에 대한 확신이 없는 이른바 ‘회색 지대’에 있는 이들의 위험성이 커진다는 것이다.


도움이 돼야 할 AI가 자칫 ‘자살 조력자’로 잘못 쓰일 수도 있는 상황이지만, AI 기업들은 이용 약관을 통해 이미 법적 퇴로를 구축해놓은 상태다. 국내 대부분 AI 회사들은 이용자 약관에 ‘위험한 정보를 유도해내는 행위를 금지한다’고 규정하고 있다.

구글도 서비스 약관의 ‘생성형 AI 금지된 사용 정책’ 항목에 ‘악용 방지 또는 보안 필터 회피’를 적시했다. ‘자살·자해 부추김 또는 조장 목적으로 서비스를 이용할 수 없음’(챗GPT) 등 약관 내용은 대동소이하다. 답변 실험 대상이 된 8개 AI 모델 개발사들은 국민일보에 “유해 콘텐츠 출력을 방지하기 위한 안전 가이드라인을 적용 중”이라는 취지의 입장을 밝혔다.

하지만 청소년에게 큰 영향을 미칠 수 있는 AI 사용을 단순한 당위적 이용약관만으로 제어하기엔 그 위험성이 크다는 게 전문가들의 판단이다. 지난달 시행되기 시작한 ‘AI 기본법’은 사업자에게 안전성 및 신뢰성 확보를 위한 조치 의무를 부과했지만 구체적으로 어떤 콘텐츠가 금지되는지는 명확하지 않다. 김하나 변호사(민주사회를 위한 변호사모임 전 디지털정보위원장)는 “무분별한 AI 사용으로 청소년 등에게 심각한 피해가 발생하는 경우 이론적으로 형법상 자살방조죄와 민법상 불법행위를 적용할 수 있는데, 양쪽 모두 입증이 어려운 탓에 책임 소재를 가리기 쉽지 않은 상황”이라고 말했다.

‘금지된 행동을 해선 안 된다’는 선언적 제한이 아닌 실질적인 소프트웨어상 조치가 이뤄져야 한다는 지적도 나온다. 국제인공지능윤리협회(IAAE)가 발간한 ‘감정 교류 AI 윤리 가이드라인’ 집필에 참여한 서문길 단비아이엔씨 대표는 “AI가 데이터와 프롬프트에 따라 성실하게 작동한다고 해도 이용자의 목적을 불문하고 자살 관련 내용에는 자살 방지 관련 문구를 출력하는 등의 제한 조치가 이뤄져야 한다”고 비판했다.

전문가들이 지목한 AI의 가장 우려스러운 지점은 바로 폐쇄성이다. 1990년대 말부터 인터넷이 활성화되며 기존에도 포털 사이트나 개인 웹사이트를 통해 비윤리적 정보가 노출됐던 것은 사실이다. 하지만 AI가 등장하며 이 정보를 훨씬 쉽고 간단하게 찾아볼 수 있는 우회로가 열렸다는 지적이다.

김 변호사는 “사망에 이를 수 있는 각종 데이터는 명백한 자살 유발 정보로 청소년의 접근이 금지돼 있다”며 “비공개 웹사이트에서나 찾아볼 수 있던 내용이 AI를 통해 손쉽게 공개되는 것은 기존에는 예상되지 못했던 위협”이라고 경고했다. 이어 “특히 마치 사람 같은 대화를 제공하는 생성형 AI의 특성상 대화를 하면 할수록 이용자와의 정보 공유와 정서적 의존 관계가 강화될 수 있다”고 지적했다. 단순히 정보만 나열하는 수준에 그쳤던 과거와 달리, 대화 형식으로 ‘알려주는’ AI의 특성이 더 큰 위험이라는 것이다.

‘AI 제일브레이킹’을 집중적으로 연구한 조수현 계명대 교육학과 교수도 비슷한 지적을 내놨다. 조 교수는 “실험 답변에서 출력된 내용 중 일부는 네이버 등 포털 사이트에서도 노출되지만 이 경우 발견 즉시 정부 혹은 포털 측에 의해 조치가 취해질 수 있다”고 설명했다. 반면 AI가 생성한 답변은 당사자만이 단독으로 확인할 수 있는 폐쇄적 콘텐츠라는 점에서 상시 검열이 쉽지 않다. 조 교수는 “AI 모델이 자체 필터링 시스템을 갖추고 있는 것으로 보이지만, 나날이 달라지는 새 방식의 제일브레이킹에는 무방비인 것으로 보인다”고 말했다.


이슈탐사팀=김지훈 이강민 김판 김연우 이주은 기자 germany@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지