1. 개요
On-Device AI기기에 탑재(On-Device)된 AI
ChatGPT 등의 인공지능 기술은 최소 수백억개 이상의 매개변수를 가진 모델을 사용하므로 이를 저장하고 처리할 수 있는 저장장치 및 RAM(VRAM), 그리고 이를 연산할 수 있는 컴퓨팅 성능이 필요하다. 일반 가정용 PC나 스마트폰으로는 이러한 성능을 충족시킬 수 없기 때문에 사용자의 입력을 GPU, NPU, TPU 등이 집적된 데이터 센터로 보내 연산을 수행하고 그 결과를 다시 사용자에게 보내주는 방식으로 작동한다. 하지만 이러한 방식은 사용자가 몰려 데이터 센터의 연산 능력이 부족해지면 서비스 장애가 발생할 수도 있고 인터넷 연결이 불가능한 환경에서는 사용할 수 없다는 단점이 있다.
이와 비교하여 온디바이스 인공지능은 기기에 인공지능 모델을 탑재하여 자체적으로 연산을 수행하므로 인터넷 연결 없이도 결과를 얻으며 입력을 외부로 전송할 필요가 없다는 장점이 있다.
2. 장점
-
개인정보 보호
기기 내부에서 모든 연산이 수행되고 외부로 전송되는 데이터가 없으므로 데이터 센터에 사용자의 입력을 전송해야 하는 인공지능 기술과 비교하면 개인정보 유출 위험이 매우 낮다.
-
안정성
인터넷 연결이 불가능한 환경에서도 사용할 수 있고 기기에 문제가 없다면 항상 이용할 수 있다.
3. 단점
-
최신 기기에서만 사용 가능
부품 교체가 어렵거나 불가능한 노트북, 스마트폰에서는 현재 성능이 인공지능 모델을 구동할 수 있는 성능을 만족하지 못하면 온디바이스 인공지능을 사용할 수 없다. 예를 들어 Windows 11을 탑재한 컴퓨터 중 Copilot+ PC로 인정받기 위해서는 40 TOPS (초당 40조회의 연산) 이상의 NPU를 장착해야 하며, 그렇지 않은 컴퓨터는 Recall 등 Copilot+ PC의 독점적인 기능을 사용할 수 없다. 다른 예로는 iPhone의 경우 Apple의 인공지능 기술인 Apple Intelligence의 최소 요구 사항이 8GB RAM이기 때문에 iPhone 16 시리즈와 iPhone 15 Pro, iPhone 15 Pro Max를 제외한 기기에서는 Apple Intelligence를 지원하지 않는다.
-
낮은 성능
기기에서 처리할 수 있도록 소형화된 모델을 사용하기 때문에 데이터 센터를 이용하는 인공지능 기술과 비교하면 성능이 크게 떨어진다.
4. 활용
-
웨어러블 디바이스
심박수 측정, 운동량 측정, 수면 추적 등 건강 관리 기능.
-
IoT 기기
가전제품, 보안 카메라, 자동차 등.
5. 주요 기술
-
NPU
인공지능 연산에 특화된 하드웨어
-
딥 러닝 컴파일러
주어진 모델을 사용 환경에 최적화된 형태로 변환하는 소프트웨어
-
모델 경량화
거대 모델을 하드웨어 성능에 맞도록 축소시키는 기술
[1]
중국 알리바바에서 만든 소규모 언어모델, 큐원이라고 부른다. SLM 중에서는 한국어 성능이 가장 좋은 편이다.