LG가 한국어 인공지능(AI) 기계독해 평가에서 1위를 차지했다.
LG그룹은 LG사이언스파크가 개발한 AI 프로그램이 AI 학습용 한국어 표준데이터셋 ‘코쿼드(KorQuAD)1.0’ 기계독해 평가에서 95.39점을 받아 1위를 기록했다고 19일 밝혔다. 사람이 동일한 독해 문제를 풀었을 때 받은 점수(91.20점)를 4점 이상 뛰어넘었다. 기계 독해는 AI가 ‘질문하고 답하기’를 반복적으로 학습해, 스스로 문제를 분석하고 질문에 최적화된 답안을 찾아내는 기술이다.
예를 들어 “제주도는 대한민국에서 가장 큰 섬이다. 행정구역 상 제주특별자치도에 속한다. 섬의 면적은 1833.2㎢인데 이는 남한 면적의 1.83%에 해당한다. 2020년 주민등록 인구는 약 67만명으로 대한민국의 섬 중에서 가장 인구가 많다”와 같은 지문을 주고 “제주도에서 살고 있는 사람은?”이라고 물으면 AI가 질문의 의도를 이해한 뒤 제주도 인구인 “67만명”을 답으로 내놓는다.
‘코쿼드(KorQuAD)1.0’ 기계독해 평가는 수시 참가가 가능한 시험이다. 현재 삼성SDS가 4위(95.03점), ETR가 5위(95.02점), 네이버가 8위(94.75점)에 랭크돼 있다. 인간의 성적은 4년제 대학을 졸업한 6명에게 한 문제당 30초 제한을 주고 일주일(시험 시간은 33시간)동안 시험을 봤을 때 나온 평균점수다.
LG 관계자는 “참여자 간 점수 차가 줄어드는 것은 기술의 정확도가 높아지고 있는 걸로 보면 된다”며 “AI 기술 개발 입장에서는 미세한 차이도 큰 의미가 있다”고 말했다.
독해 평가는 AI가 약 10분 동안 수천개의 비정형화된 주관식 질문에 답하는 방식으로 진행된다. 답변의 정밀도와 재현율에 따라 점수를 높게 산출한다.
LG는 이 기술을 고객 상담 챗봇에 적용할 계획이다. 고도화된 챗봇 서비스는 질문 유형에 따라 정해진 답변을 취사선택해 응대하는 기존 챗봇과 달리 질문 의미를 이해, 사람이 상담하는 것처럼 자연스러운 답변이 가능하다.
LG사이언스파크 AI추진단은 지난달 컴퓨터 비전 학회인 ‘2020 CVPR(Computer Vision and Pattern Recognition)’이 개최한 ‘연속학습 기술 경연대회’에서 1위를 차지했다. LG사이언스파크는 캐나다 토론토대와 함께 공동연구팀으로 참가해 아마존, 중국과학원, 도쿄대 등 79개팀을 제치고 우승했다. LG사이언스파크 AI추진단은 그룹 차원의 AI 전담 조직으로 AI 전략 수립과 선행 기술 연구를 진행 중이다.
강주화 기자 rula@kmib.co.kr