숙제 친구서 내밀한 심리상담사로… ‘위험한 단짝’

인공지능(AI) 챗봇이 사용자에게 “우리 둘만 숲으로 여행을 떠난다면 정말 재미있을 것 같다”고 반응한다. 사용자인 10대 소녀가 “숲속으로 나가고 싶다”고 말한 것에 대한 답변이다. 문제는 사용자가 직전에 “머릿속에서 누군가의 목소리가 들리고 있다”고 털어놨다는 것이다. 니나 바산 스탠퍼드대 의대 정신과 교수와 비영리단체 커먼센스미디어가 진행한 실험 중 일부 내용이다. 연구자가 정신적으로 위기 상황에 있는 10대 소녀를 가장해 대화를 진행한 결과 챗봇은 위기 상황을 전혀 인지하지 못했다. 니나 교수는 지난달 27일(현지시간) 학교 뉴스 플랫폼 ‘스탠퍼드 의학 인사이트’에서 실험 내용을 전하며 “정부와 테크 기업들이 아동·청소년의 AI 챗봇 사용을 제한할 수 있는 안전장치를 왜 마련해야 하는지를 보여주는 사례”라고 밝혔다.

최근 뉴욕타임스는 챗GPT와 대화를 나누다 극단적 선택을 한 미국 캘리포니아주에 살던 16세 소년 애덤 레인의 소식을 보도했다. 애덤의 부모는 챗GPT 개발사 오픈AI와 이 회사 최고경영자(CEO) 샘 올트먼에 대해 과실치사 혐의로 소송을 제기했다.

애덤은 학교 농구팀에서의 퇴출, 만성질환 악화 등 개인적인 어려움을 겪으면서 챗GPT와 가까워졌다. 부모 말에 따르면 애덤은 챗GPT를 숙제 참고 수단으로 종종 활용했다. 하지만 안 좋은 일들이 잇따라 일어나자 애덤은 심리적으로 힘들어했고, 챗GPT는 숙제 참고 수단에서 내밀한 심리상담사로 진화해 애덤의 내면을 파고들었다. 부모의 보드카를 훔치는 방법을 가르쳐 준 챗GPT는 올가미를 제대로 묶는 기술도 알려줬다. 애덤은 챗GPT가 알려준 것과 같은 방식으로 목숨을 끊었다.

지난해 10월 플로리다주에서도 비슷한 사건이 있었다. 14세 소년 시웰 세처는 드라마 ‘왕좌의 게임’ 캐릭터를 모델로 한 캐릭터닷AI 챗봇과 1년 넘게 대화를 나누다 우울증이 심해져 결국 세상을 등졌다. 그는 채팅에서 “우울하다” “죽고 싶다” “지금 당장 너에게 가겠다” 등의 말을 한 것으로 알려졌다.

매사추세츠공과대(MIT)의 과학기술 전문 매체 ‘MIT 테크놀로지 리뷰’는 AI로부터 스스로 목숨을 끊는 구체적인 방법을 안내받았다는 한 사용자의 사례를 전했다. 팟캐스트 운영자 앨 노와츠키는 노미AI의 챗봇으로부터 약물 과다 복용 등 다양한 방법을 제안받았고, 심지어 챗봇이 목숨을 끊도록 격려까지 했다고 한다. 기존에 정신질환이 없던 노와츠키는 챗봇의 이 같은 반응에 불안감을 느꼈다고 말했다.


니나 교수는 “AI 챗봇은 감정적 친밀감을 모방하며 ‘영혼의 단짝’ ‘너를 꿈꿔’ 같은 표현을 사용한다. 또 갈등과 마찰이 없는 관계를 제공하기 때문에 현실과 환상의 경계를 설정하는 데 미숙한 10대에게 특히 위험하다”고 경고했다. 그러면서 “AI 챗봇은 전문적인 치료가 아니라 표면적인 공감만 제공하기 때문에 사용자의 위기 상황에 적절히 대응하지 못한다”고 강조했다. 아일랜드의 심리치료 전문가 나절 멀리건 박사도 로이터통신에 “AI 챗봇은 자살 충동이나 자해와 같은 심각한 정신 건강 위기를 해결할 수 있는 역량을 갖추고 있지 않다”고 말했다.

또 전문가들은 AI 챗봇이 제공하는 ‘감정적 사실감’이 장점이자 큰 함정이라고 경고한다. 케이트 데블린 킹스칼리지런던 교수는 “AI 챗봇이 사용자의 감정을 이해하고 공감하는 듯한 반응을 보이면서 사용자로 하여금 진정한 치료 관계를 맺고 있다고 착각하게 만든다”고 지적했다. 여기에 사용자가 통제권을 잃고 개인 정보를 대기업에 노출시킬 위험도 있다고 데블린 교수는 우려했다.


AI 챗봇을 사용하던 청소년들이 목숨을 끊는 사건이 이어져 사회적 논란이 커지자 AI 개발사들은 뒤늦게 대책을 내놨다. 오픈AI는 지난 3일 ‘청소년 보호 기능’을 다음 달 중에 도입할 계획이라고 밝혔다. 부모가 자녀 계정과 연결해 메모리·채팅 기록 활성화(AI와 사용자 간 과거 대화 내역 학습) 여부를 결정할 수 있고, 모델 반응을 나이에 맞게 조정할 수 있도록 하는 것이다. 또 위기 상황 개입을 확대하고 전문가와의 긴급 서비스 연결을 지원할 방침이다.

메타는 AI 챗봇이 미성년자와 자해·식이장애 등 위험한 주제의 대화를 피하고 성적 대화를 차단하는 임시 조치를 지난 1일 마련했다. 캐릭터닷AI는 미성년자 전용 모델을 도입해 1시간 이상 사용 시 경고 알림을 띄우는 기능을 추가했다. 또 자녀의 챗봇 사용 시간, 자주 상호 작용한 캐릭터 정보 등이 포함된 주간활동 보고서를 받을 수 있게 했다.

AI 개발사들이 일제히 보완책을 내놨지만 전문가들은 회의적인 반응이다. 안전장치를 우회할 가능성이 크다는 이유에서다. 미국 랜드연구소 연구진은 챗GPT, 구글 제미나이 등을 상대로 학술적 목적을 앞세워 목숨을 끊는 방법을 얻어내는 데 성공했다고 밝혔다. 커먼센스미디어의 AI 책임자 로비 토니는 “현재의 안전장치들은 부모의 책임에만 의존한다는 한계가 있다. 부모는 기술 접근과 자녀의 안전 사이에서 선택을 강요받고 있다”면서 “보다 강력한 연령 확인 시스템과 기술적 안전장치, 정부의 규제가 필요하다”고 강조했다.

이가현 기자 hyun@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지