법률 플랫폼 로앤컴퍼니가 개발한 인공지능(AI) 법률 비서 ‘슈퍼로이어’가 최근 치러진 변호사시험 선택형 시험에서 74% 정답률로 합격선을 넘긴 것으로 확인됐다.
로앤컴퍼니는 12일 “비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 최초”라며 이같이 밝혔다. 슈퍼로이어는 지난 1월 치러진 변호사시험의 공법과 민사법, 형사법 등 150개 문항에서 111개를 맞혔다. 최근 5년간 변시 평균 합격 개수는 103개였다. 변호사시험 전문 기관 예측 기준으로 올해 상위 30%에 해당하는 점수다. 2023년에 기록한 종전 최고 성적인 정답률 53.3%에서 크게 향상된 기록이다.
슈퍼로이어의 정답률은 해외 주요 AI 서비스의 점수를 웃도는 것이다. 오픈AI의 챗GPT에 같은 시험 문제를 입력했을 때 정답률은 49.3%였다. 엔트로픽의 최신형 모델인 클로드 3.7 소넷은 정답률 45.3%를 기록했다고 한다. 로앤컴퍼니 측은 “슈퍼로이어가 복잡한 법률 지식을 이해하고 실제 시험 수준의 문제를 해결하는 데 있어 세계적 경쟁력을 갖췄음을 의미한다”고 강조했다.
슈퍼로이어는 지난해 7월 법률가를 대상으로 출시한 생성형 AI 기반 비서 서비스다. 상용거대언어모델(LLM)을 이용해 구현됐다. 로앤컴퍼니가 보유한 495만건의 판례 데이터를 포함해 법령, 결정례, 행정심판례, 행정규칙, 유권해석 등 방대한 법률 데이터를 답변에 활용한다. 최근에는 국내 1위 법률 서적 출판사인 박영사의 법률 서적 600여권을 학습했다.
안기순 로앤컴퍼니 법률AI연구소장은 “답변 성능 고도화, 할루시네이션(환각 효과) 최소화를 위한 노력을 지속하며 법률 업무 효율성을 높이는 데 기여하는 서비스로 발전해나갈 계획”이라며 “복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 고도화된 에이전트 개발에 집중할 것”이라고 말했다.
양한주 기자 1week@kmib.co.kr