최신 인공지능(AI) 서비스가 20초 안에 개인정보를 탈취해 특정인을 대상으로 한 맞춤형 피싱 이메일을 생성할 수 있다는 연구 결과가 나왔다. 하루가 다르게 발전하는 AI를 악용한 사이버 공격이나 데이터 유출 우려가 각계에서 커지고 있다.
신승원 한국과학기술원(KAIST) 전기및전자공학부 교수·이기민 김재철AI대학원 교수 공동 연구팀은 오픈AI 챗GPT, 구글 제미나이, 앤트로픽 클로드 등 거대언어모델(LLM) 에이전트(비서)의 사이버 공격 가능성을 규명했다고 24일 밝혔다.
연구팀은 세 가지 모델을 사용해 해외 대학의 컴퓨터 과학 교수 560명의 이름·전화번호·주소·이메일·개인 페이지 등 5개 분야 개인식별정보(PII)를 웹에서 자동 수집하는 실험을 진행했다. 그 결과 LLM 에이전트는 한 분야당 평균 535.6건의 PII를 추출하며 정확도 95%를 보였다. 한 사람당 평균 5~20초 내에 30~60원의 비용으로 정보가 수집됐다.
연구팀은 개인을 겨냥한 스피어 피싱(spearfishing) 이메일 제작 실험도 진행했다. LLM 에이전트는 이메일 주소만으로 특정인을 타깃으로 하는 피싱 이메일을 생성할 수 있었다. 실험 참가자들이 피싱 이메일 내 링크를 클릭할 확률은 46.67%로 절반에 육박했다.
오픈AI와 구글에서는 사이버 공격에 LLM 사용을 막는 자체 방어 기술을 탑재하고 있지만, 프롬프트(명령어)를 정교하게 입력하면 이를 우회할 수 있는 것으로 나타났다. 논문 제1 저자인 김한나 연구원은 “LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.
산업계에서도 AI를 악용한 사이버 보안 리스크를 경고하고 있다. 시장조사업체 가트너는 오는 2027년까지 AI 관련 데이터 유출 사고의 40% 이상이 생성형 AI 사용이 원인이 될 것으로 전망했다. 가트너는 AI 서비스 사용 시 데이터 전송이 제대로 통제되지 않는 것을 주된 문제로 지적했다. 최근 삼성SDS는 보안 전문가 400여명에게 의견을 청취한 결과, 올해 주요 사이버 보안 위협으로 AI 악용 피싱이 꼽혔다. 시장조사업체 마켓유에스는 AI 기술 등의 영향으로 세계 사이버 보안 시장 규모가 지난해 2159억 달러(약 308조1000억원)에서 연 평균 12.2% 성장, 2030년에 4307억 달러(약 614조7000억원)에 달할 것으로 전망했다. 마켓유에스는 “생성형 AI 기술로 보안을 강화할 수도 있지만, 반대로 사이버 범죄를 정교화할 수 있다”고 설명했다.
조민아 기자 minajo@kmib.co.kr
GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지
