클라우드 없이 AI를 돌린다! 온디바이스 AI 칩의 숨겨진 승자, ARM·미디어텍·LG이노텍을 주목하라

 

 

 

머니헌터SU🏹 | 온디바이스 AI 반도체 심층 분석

클라우드 없이 AI를 돌린다! 온디바이스 AI 칩 시장의 숨겨진 승자

AI 칩 시장2026년 1,228억달러 추산

AI PC 비중2026년 55~60% 전망

퀄컴 X2 엘리트NPU 80 TOPS 출시

✅ 오늘의 핵심 요약

• 온디바이스 AI는 클라우드 없이 기기 자체에서 AI를 구동하는 패러다임으로, 프라이버시 보호, 즉각 응답, 구독 비용 절감이라는 세 가지 이유로 빠르게 확산 중이다.
• 2026년 전체 PC의 55~60%가 AI PC로 출하될 전망이며, 마이크로소프트 코파일럿+ PC 기준(40 TOPS 이상 NPU)이 시장 표준으로 정착하고 있다.
• 퀄컴 스냅드래곤 X2 엘리트가 NPU 80 TOPS를 달성하며 2026년 AI PC 시장을 주도하고 있고, AMD·인텔·삼성이 50 TOPS 전후로 추격 중이다.
• ARM은 칩을 직접 만들지 않으면서도 v9 아키텍처 전환으로 칩당 로열티 단가를 2배 올려 2026년 예상 매출 52억달러(+24% YoY) 성장이 전망된다.
• 국내에서는 LG이노텍이 AI 기판(RF-SiP) 1분기 역대 최대 영업이익 2,953억원을 기록하며 미국 빅테크 6사를 신규 고객으로 확보했다.

챗GPT 같은 AI를 쓰려면 인터넷이 연결돼야 하고, 내 대화 내용이 서버로 전송됩니다. 이 구조적 불편함을 단번에 해결하는 것이 온디바이스 AI입니다. 스마트폰이나 노트북 안에 작은 AI 전용 칩(NPU)을 심어 인터넷 없이도, 구독료 없이도, 개인정보 유출 걱정 없이 AI를 구동하는 방식입니다. AI 반도체 하면 엔비디아 GPU를 떠올리기 쉽지만, 온디바이스 AI 시장에서는 판이 완전히 다릅니다. 클라우드 GPU가 아니라 작고 전력을 적게 쓰는 NPU가 핵심이고, 엔비디아가 아닌 전혀 다른 기업들이 이 시장을 주도하고 있습니다. 오늘은 그 숨겨진 승자들을 찾아봅니다.

📋 목차

1. 왜 AI가 클라우드를 떠나 기기 안으로 들어오나
2. NPU란 무엇인가, TOPS 숫자가 왜 중요한가
3. 2026년 NPU TOPS 전쟁, 퀄컴 80TOPS의 충격
4. 숨겨진 승자 ARM, 칩 없이 돈 버는 구조
5. 국내 수혜 기업, LG이노텍과 심텍의 역할

① 왜 AI가 클라우드를 떠나 기기 안으로 들어오나

클라우드 AI 서비스가 아무리 편리해도 세 가지 근본적인 한계가 있습니다. 첫째는 프라이버시 문제입니다. 클라우드 AI를 쓸수록 직업, 나이, 거주지, 재산 수준 같은 민감한 개인정보가 외부 서버로 흘러들어갑니다. 둘째는 응답 지연입니다. 데이터를 서버로 보내고 결과를 받아오는 과정에서 필연적으로 시간이 걸립니다. 셋째는 비용입니다. 챗GPT를 비롯한 생성형 AI 구독료는 월 20~200달러에 달하는데, 기기에서 직접 AI를 돌리면 구독료 없이 쓸 수 있습니다.

온디바이스 AI는 이 세 가지를 동시에 해결합니다. 데이터는 기기 밖으로 나가지 않고, 응답은 즉각적이며, 한 번 기기를 사면 추가 비용이 없습니다. 여기에 인터넷이 없는 환경에서도 작동한다는 편의성까지 더해집니다. 삼성전자가 갤럭시 S24에 온디바이스 AI를 처음 탑재했을 때 인터넷 없이 실시간 번역이 된다는 점 하나로 시장의 시선을 사로잡은 것도 이 맥락입니다.

▲ 클라우드 AI의 세 가지 한계를 온디바이스 AI가 동시에 해결한다 (출처: 자체 제작)

시장의 판단 앞으로 AI 시장은 데이터센터와 온디바이스로 양분될 전망이다. 복잡한 AI 모델 훈련과 대규모 추론은 데이터센터에서, 일상적인 AI 작업은 기기 내 NPU가 처리하는 구조다. 온디바이스 AI는 클라우드를 대체하는 것이 아니라, 새롭게 열리는 또 다른 거대 시장이다.

② NPU란 무엇인가, TOPS 숫자가 왜 중요한가

NPU(Neural Processing Unit, 신경망처리장치)는 AI 연산에 특화된 반도체입니다. CPU는 범용 연산에, GPU는 병렬 그래픽 처리에 강하지만 AI 추론에서는 에너지 효율이 낮습니다. NPU는 처음부터 AI 연산을 위해 설계돼 같은 전력으로 훨씬 많은 AI 작업을 처리할 수 있습니다. 메모리도 NPU 칩 내부에 통합돼 있어 소형화·저전력 측면에서 GPU보다 유리합니다.

TOPS(Tera Operations Per Second)는 NPU의 성능 지표로, 1 TOPS는 1초에 1조 번 연산할 수 있는 속도입니다. 마이크로소프트는 2024년 코파일럿+ PC의 인증 기준을 40 TOPS 이상으로 설정했습니다. 이 기준 이하의 PC는 코파일럿+ 기능을 제대로 활용할 수 없다는 의미입니다. NPU 시장은 아직 GPU에서의 엔비디아처럼 독보적인 기업이 나타나지 않은 상황이어서, 퀄컴·AMD·인텔·미디어텍·애플 등 다수의 기업들이 치열하게 경쟁하고 있습니다.

LPDDR과 SRAM의 역할 온디바이스 AI가 발전할수록 NPU와 최적으로 연결되는 저전력 메모리도 중요해진다. AI PC에 탑재되는 LPDDR5X, 차세대 LPCAMM 모듈은 AI 연산 병목을 줄이는 핵심 부품으로 반도체 기판 업계에도 새로운 성장 기회가 열리고 있다.

③ 2026년 NPU TOPS 전쟁, 퀄컴 80TOPS의 충격

2026년 NPU TOPS 경쟁은 퀄컴이 주도하고 있습니다. 퀄컴은 2026년 상반기 3세대 오라이온 CPU와 80 TOPS 헥사곤 NPU를 통합한 스냅드래곤 X2 엘리트를 출시했습니다. 이전 세대 대비 동일 전력 기준 CPU 싱글코어 성능 31% 향상, 동일 성능 기준 전력 43% 감소를 달성했고, 실사용 배터리 수명을 22~26시간까지 끌어올렸습니다. 삼성전자 갤럭시 북6 엣지가 이 칩을 탑재해 출시됐습니다.

AMD는 라이젠 AI 300/400 시리즈로 최대 50 TOPS NPU를 제공하며 추격 중이고, 인텔 코어 울트라 시리즈 3도 50 TOPS NPU로 코파일럿+ 기준을 충족합니다. 삼성전자는 2025년 12월 2nm GAA 공정 기반 엑시노스 2600을 발표했습니다. 스마트폰 시장에서는 애플 A18 시리즈가 아이폰 16에 탑재되며 생성형 AI 스마트폰 출하량 1위를 차지했으며, 미디어텍 디멘시티 9500도 2025년 9월 출시되며 안드로이드 중·고급 시장을 공략 중입니다.

칩	제조사	NPU 성능	특징
스냅드래곤 X2 엘리트	퀄컴	80 TOPS	AI PC 시장 선두, 26시간 배터리
라이젠 AI 300/400	AMD	최대 50 TOPS	코파일럿+ PC 기준 충족
코어 울트라 시리즈 3	인텔	50 TOPS	갤럭시 북6 울트라 탑재
A18 / A18 Pro	애플	35 TOPS	아이폰 16, 생성형 AI 스마트폰 1위
디멘시티 9500	미디어텍	고성능	안드로이드 중고급 시장 석권

▲ 퀄컴 80TOPS를 선두로 AMD·인텔 50TOPS가 추격하는 2026년 NPU TOPS 경쟁 구도 (출처: 자체 제작)

④ 숨겨진 승자 ARM, 칩 없이 돈 버는 구조

온디바이스 AI 칩 시장에서 가장 주목해야 할 숨겨진 승자는 ARM입니다. ARM은 칩을 직접 설계하거나 생산하지 않습니다. 대신 퀄컴, 애플, 미디어텍, 삼성, 구글 등 거의 모든 스마트폰·AI PC 칩 설계의 기반이 되는 CPU·GPU·NPU 아키텍처를 공급하고 칩이 팔릴 때마다 로열티를 받습니다.

ARM의 핵심 모멘텀은 v9 아키텍처로의 전환입니다. Arm v9 아키텍처에는 AI 연산 가속 기술(SVE2)이 내장돼 채택률이 급증하고 있는데, 이에 따라 칩당 로열티 단가가 2배 상승했습니다. 또한 CPU·GPU·NPU를 패키지로 묶은 CSS(Compute Subsystems) 판매로 수익성을 극대화하고 있습니다. 2026년 예상 매출은 52억달러로 전년 대비 24% 성장이 전망됩니다. 데이터센터 서버용 칩에서도 ARM 기반 점유율이 50%에 육박하면서, 모바일로 쌓은 기반이 클라우드 서버로도 확장되는 그림입니다.

퀄컴은 스냅드래곤 X2 엘리트로 AI PC 시장을 선도하는 한편, 자동차용 스냅드래곤 디지털 섀시가 폭스바겐·GM에 채택되며 자동차 매출이 전년 대비 35% 급증했습니다. 2026년 예상 매출은 480억달러(+9% YoY)이며 자동차·IoT 부문 다각화로 스마트폰 의존도를 낮추고 있습니다. 미디어텍은 보급형~중상급 안드로이드 시장에서 온디바이스 AI 기능이 대중화되는 과정의 핵심 수혜주입니다. 고사양 칩 경쟁에서는 퀄컴·애플에 밀리지만, 수억 대 규모의 보급형 시장에서 온디바이스 AI를 표준화하는 역할을 합니다.

📊 온디바이스 AI 칩의 숨겨진 승자들

🏆

ARM

로열티 단가 2배 + 예상 매출 +24%

🥇

퀄컴

80TOPS X2 엘리트 + 자동차 +35%

🌏

미디어텍

보급형 온디바이스 AI 대중화

🍎

애플

A18 탑재 AI폰 출하량 1위

⑤ 국내 수혜 기업, LG이노텍과 심텍의 역할

온디바이스 AI 칩의 성능이 올라갈수록 이를 뒷받침하는 반도체 기판과 패키징 소재도 함께 고도화됩니다. 국내에서 이 흐름의 직접 수혜를 받고 있는 기업들이 있습니다.

LG이노텍은 시스템인패키지(RF-SiP) 분야에서 고밀도·초박형 기판 기술로 2026년 1분기 역대 최대 영업이익 2,953억원을 기록했습니다. 특히 기존 고객사를 넘어 미국 빅테크 6개사를 신규 고객으로 확보하며 AI 기판 매출을 2030년 1조원 규모로 확대하겠다는 목표를 세웠습니다. 온디바이스 AI 기기의 핵심 부품인 LPDDR 기판의 고밀도화와 고부가 초박형 FC-BGA 공급 비중도 빠르게 늘리고 있습니다.

심텍은 엔비디아 소캠(SOCAMM) 기판 시장에서 글로벌 메모리 3사(삼성·SK하이닉스·마이크론) 모두의 Tier 1 공급업체로 국내 유일하게 선정됐습니다. 2026년 상반기 초도 물량 출하를 시작해 초기 시장 점유율을 상당 부분 확보할 것으로 전망됩니다. 티엘비는 차세대 모듈 수요 증가에 대비해 2,000억원을 투입해 신공장 건립에 착수했으며, 완공 시 생산능력을 두 배로 늘릴 계획입니다.

정부도 이 시장에 직접 뛰어들고 있습니다. 산업부가 'K-온디바이스 AI 반도체 사업'을 통해 국산 AI 반도체 업계를 지원하고 있으며, 국내 팹리스 기업들의 NPU 설계 역량 강화가 중기 과제로 떠오르고 있습니다.

🔍 수급 비밀 노트 온디바이스 AI 칩 핵심 포인트

시장 규모 글로벌 AI 칩 시장 2026년 1,228억달러, 엣지·온디바이스 부문이 2035년 전체의 75.6% 점유 전망

AI PC 시대 2025년 30~40%에서 2026년 55~60%로 AI PC 비중 급증, MS 코파일럿+ 40TOPS 기준이 시장 표준화

TOPS 전쟁 퀄컴 X2 엘리트 80TOPS로 선두, AMD·인텔 50TOPS 추격, NPU 시장에 엔비디아급 독보적 기업 아직 없음

숨겨진 승자 ARM v9 아키텍처 전환으로 로열티 단가 2배 상승, 2026E 매출 52억달러(+24%), 데이터센터 서버 50% 육박

국내 수혜 LG이노텍 Q1 역대 최대 영업이익 2,953억원·빅테크 6사 신규 고객, 심텍 소캠 기판 Tier 1 단독 선정

▲ 온디바이스 AI 시장에서 칩을 직접 만들지 않는 ARM이 가장 구조적인 수혜를 받는다는 점이 역설적이다 (출처: 자체 제작)

📊 핵심 요약

온디바이스 AI는 프라이버시·속도·비용이라는 세 가지 구조적 필요로 클라우드 AI와 함께 빠르게 성장하는 또 다른 AI 시장입니다. 2026년 AI PC 비중이 55~60%로 올라가고 퀄컴이 80 TOPS NPU로 시장을 선도하면서 NPU 반도체는 이제 소비자 기기의 필수 부품이 됐습니다. 글로벌 AI 칩 시장에서 엣지·온디바이스 부문이 2035년 전체의 75.6%를 점유할 것으로 전망됩니다.

이 시장에서 가장 주목해야 할 숨겨진 승자는 ARM입니다. 칩 하나 만들지 않으면서도 모든 NPU의 기반 아키텍처를 공급하며 v9 전환으로 로열티 단가를 2배 올렸습니다. 국내에서는 LG이노텍과 심텍이 AI 기판 분야 역대급 실적과 수주로 수혜를 증명하고 있습니다. NPU 시장에서 아직 엔비디아 같은 독보적 승자가 없다는 사실이 바로 이 시장의 가장 큰 투자 기회입니다.

다음 편 예고 다음 편에서는 온디바이스 AI의 소프트웨어 생태계, 즉 sLLM(소형 언어모델) 경쟁에서 퀄컴 AI 허브, 구글 제미나이 나노, 삼성 가우스 모델이 어떻게 하드웨어 기업들과 손을 잡고 시장을 나누는지 분석합니다.

Q. 온디바이스 AI란 무엇이고 클라우드 AI와 어떻게 다른가요?

A. 인터넷 연결 없이 스마트폰·PC 등 기기 자체에 내장된 NPU가 AI 연산을 처리하는 기술입니다. 클라우드 AI보다 응답이 빠르고, 개인 데이터가 외부 서버로 전송되지 않아 프라이버시가 보호되며, 별도 구독료 없이 사용할 수 있습니다.

Q. NPU와 TOPS는 무엇인가요?

A. NPU는 AI 연산에 특화된 반도체 칩으로, CPU·GPU보다 AI 추론을 에너지 효율적으로 처리합니다. TOPS는 1초에 1조 번 연산할 수 있는 성능 지표입니다. 마이크로소프트 코파일럿+ PC 기준은 40 TOPS이며, 2026년 퀄컴 스냅드래곤 X2 엘리트는 80 TOPS까지 달성했습니다.

Q. AI PC 시장은 얼마나 빠르게 성장하나요?

A. 2025년 전체 PC의 30~40%가 AI PC였고, 2026년에는 55~60%까지 확대될 전망입니다(IDC 기준 53%). 마이크로소프트 코파일럿+ PC 기준 정착으로 40 TOPS 이상 NPU 탑재 노트북이 시장 표준이 되는 속도가 빨라지고 있습니다.

Q. 온디바이스 AI 칩의 숨겨진 수혜주는 누구인가요?

A. ARM이 가장 주목할 숨겨진 수혜주입니다. 칩을 직접 만들지 않지만 거의 모든 AI 칩의 기반 아키텍처를 공급하며 v9 전환으로 로열티 단가가 2배 상승했습니다. 국내에서는 LG이노텍이 AI 기판 역대 최대 실적과 빅테크 6사 신규 고객 확보로 주목받고 있습니다.

Q. 2026년 온디바이스 AI 칩 시장 규모는 얼마나 되나요?

A. 글로벌 AI 칩 시장(엣지+클라우드)은 2026년 약 1,228억달러로 추산되며 엣지·온디바이스 부문이 2035년까지 75.6%를 점유할 전망입니다. 국내 기준으로는 삼성증권 추정 2026년 모바일·PC 중심 시스템반도체 시장에서 약 25조8,000억원의 부가가치가 발생할 것으로 예상됩니다.

⚠️ 투자 유의사항
본 포스팅은 투자 정보 제공을 목적으로 하며 특정 종목의 매수·매도를 권유하지 않습니다. 언급된 시장 전망과 기업 실적 수치는 각 기관·기업의 발표 및 추정치를 기반으로 하며 실제와 다를 수 있습니다. 주식 투자는 원금 손실 가능성이 있으며, 투자의 최종 판단과 책임은 투자자 본인에게 있습니다. 끝까지 읽어주셔서 감사합니다.