지난 13일 싱가포르에 있는 틱톡 투명성 및 책임 센터(TAC)의 콘텐츠 관리 사무실. 콘텐츠 심사와 추천 과정을 투명하게 알리려는 센터의 설립 취지에 맞게 내부에는 인공지능(AI)이 청소년 대상 유해 콘텐츠를 필터링하는 과정이 시연되고 있었다. 컴퓨터의 카메라가 책상 위에 놓여 있는 맥주병을 비추자 AI는 별다른 경고를 보내지 않았다. 반면, 맥주병을 입으로 가져가 음주를 하는 듯한 행동을 보이자 ‘음주 지수’가 99%까지 올랐고, 맥주병을 머리 위로 들어 폭력적인 모습을 보이자 ‘위험 도구 지수’가 80% 이상으로 높아지며 빨간 경고가 떴다.
틱톡의 콘텐츠 심사에 활용되는 AI는 맥락을 읽어낼 수 있다는 게 가장 큰 특징이다. 식당에서 사람들이 나이프를 활용해 음식을 먹는 장면에선 AI가 나이프를 위험 도구로 인식하지 않는다. 반면, 특정인을 대상으로 나이프를 휘두르면 위험성을 인지한다. AI가 단편적인 장면이 아니라 사람의 동작과 주변 환경을 포함한 맥락을 파악해 동영상 콘텐츠의 유해성 여부를 판단한다.
틱톡의 콘텐츠 심사 과정은 크게 3단계를 거친다. 우선 AI가 머신러닝을 통해 콘텐츠를 다각도록 검토 후 틱톡의 가이드라인에 위배되는 콘텐츠를 자동으로 탐지한다. 이후 약 4만 명에 달하는 전문 심사관들이 AI가 필터링한 결과물을 다시 검토한다. 마지막으로 지역 사회 관계자 및 외부 초청 인력들로 구성된 인력풀이 사회적으로 이슈가 되고 있는 영상들을 심사한다.
예를 들면 상의를 탈의하고 진행하는 여성 단체의 시위 영상을 유해 콘텐츠로 분류할 것인지에 대해 전문가들 논의가 진행된다. 국가별 특성에 따라 해당 콘텐츠가 사회 운동으로 분류되기도 하고, 노출이 심한 단순 누드 영상으로 간주되기도 한다. 특히 아시아권에서는 누드의 개념을 서양권보다 더 보수적으로 해석하기 때문에 이러한 문화·역사적 요소들을 고려해 판단해야 하는 경우가 많다.
틱톡은 이 같은 필터링 과정을 통해 평균적으로 매일 160만개의 동영상을 삭제한다. 삭제된 영상은 틱톡의 가이드라인에 어긋나는 동영상들로 이중 이용자 및 외부 기관의 신고를 받기 전 내부에서 24시간 이내에 삭제한 비율은 90.8%에 달한다. 만약 콘텐츠 크리에이터가 삭제 조치에 대해 동의하지 않을 경우 직접 이의를 제기할 수 있다.
틱톡의 정교한 콘텐츠 심사는 선거 같은 정치적 이슈를 앞둔 시기에 효과적이다. 지난해 4분기 기준 ‘무결성 및 진실성’ 규정을 위반한 콘텐츠는 전체 가이드라인 위반 수의 약 2.1%다. 해당 비율을 세부적으로 살펴보면 허위 정보 위반이 약 40%로 가장 많았고, 선거 관련 선거 공정성 위반이 약 34%로 그 뒤를 이었다. 선거 시기에 쏟아지는 가짜 뉴스를 AI가 효과적으로 선별해내는 것이다.
틱톡은 생성형 AI 콘텐츠에 대해서도 적극적으로 대응하고 있다. 언론사 등 권위 있는 출처를 사칭하는 콘텐츠, 위기 상황을 위조해 자극적인 장면을 연출하는 콘텐츠 등은 플랫폼에 공개되지 않는다. 특정 인물에 대해 상당 부분을 편집한 생성형 AI 콘텐츠에는 AI가 만들었다는 라벨을 부착한다. 틱톡의 생성형 AI 편집 툴 뿐만 아니라 외부 플랫폼의 생성형 AI 편집 툴로 제작된 모든 콘텐츠에도 자동으로 라벨이 부착되는 시스템을 적용하고 있다.
싱가포르=나경연 기자 contest@kmib.co.kr