글로벌 빅테크 업체들이 ‘온디바이스 인공지능(AI)’ 경쟁에 본격적으로 뛰어들고 있다. 온디바이스 AI는 데이터 유출 우려가 없고, 비용을 줄일 수 있다. 때문에 수요가 계속 늘어날 전망이다.
챗GPT, 하이퍼클로바X 등 기존 생성형 AI 서비스는 모두 클라우드를 기반으로 한다. 사용자가 데이터를 전송하면 클라우드에서 이를 처리한 후 다시 보내는 방식이다. 데이터가 오가는 과정에서 민감한 내용이 유출될 수 있다. 클라우드를 구동하는 데 막대한 에너지와 비용도 들어간다. 오픈AI는 챗GPT 운영비로만 하루에 70만 달러(약 9억원) 이상을 쓰는 것으로 알려졌다.
이와 달리 온디바이스 AI는 기기 안에서 AI 연산을 처리한다. 데이터의 외부 유출 우려가 없다. 통신망을 타고 데이터가 오가지 않기 때문에 인터넷에 연결할 필요도 없다. 사용자의 스마트폰이나 PC만 있으면 돼 많은 전기를 소모하지도 않는다.
5일 업계에 따르면 인텔은 올해 말 출시할 14세대 메테오 레이크 인텔 코어 울트라 중앙처리장치(CPU)에 최초로 신경망처리장치(NPU)를 탑재한다. NPU는 AI 학습 및 추론을 담당한다. 마이크로소프트(MS)는 지난달에 AI를 적용한 윈도11을 출시했다. 이제 PC에서도 AI 기능을 적극적으로 활용할 수 있게 된 것이다. 팻 겔싱어 인텔 CEO는 “메테오 레이크가 AI PC시대를 열 것이다”고 강조했다.
애플은 아이폰15 프로에 채택한 A17 프로의 뉴럴엔진 성능이 최대 2배 향상됐다고 밝혔다. 애플은 보안을 이유로 온디바이스 AI에 초점을 맞춰왔다. 애플은 iOS17에 더 나은 자동수정, 받아쓰기 및 라이브 음성메일 등의 새로운 기능을 선보였다. 모두 온디바이스 AI로 구현되는 것들이다.
퀄컴은 메타와 협력해 거대언어모델(LLM) ‘라마2’를 온디바이스 AI로 구동하도록 최적화하고 있다. 빠르면 2024년부터 퀄컴 스냅드래곤 플랫폼을 탑재한 스마트폰, PC, 자동차 등은 클라우드에 접속하지 않고 라마2 기반의 챗봇 서비스를 기기에서 바로 이용할 수 있게 된다.
삼성전자는 내년부터 모든 가전제품에 자체 개발한 NPU를 적용할 예정이다. 온디바이스 AI로 가전제품의 사용 경험을 향상시킨다는 계획이다. 갤럭시 스마트폰에 도입한 음성비서 서비스 ‘빅스비’에 생성형 AI를 도입해 보다 자연스러운 대화를 할 수 있도록 할 예정이다.
김준엽 기자 snoopy@kmib.co.kr
GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지
