메모리가 CPU를 먹어버린다? CIM PIM 반도체 혁명의 정체 삼성전자 SK하이닉스 차세대 메모리 투자처 완전분석

 

 

 

 

머니헌터SU🏹 | 산업분석 CIM·PIM 차세대 메모리 반도체 완전 분석

💾 산업 분석 | 메모리가 CPU의 영역을 침범하기 시작했다

LPDDR6 기반 PIM JEDEC 국제 표준화 마무리 단계 진입
삼성전자 세계 최초 HBM-PIM 개발 2배 성능 70% 전력절감 실증
SK하이닉스 AiM·AiMX로 온디바이스·피지컬 AI 시장 정조준

✅ 오늘의 핵심 요약

📌 PIM(Processing-In-Memory) 메모리 내부에서 직접 연산 수행하는 차세대 반도체
📌 글로벌반도체표준협의기구(JEDEC) 8세대 LPDDR6 기반 PIM 표준화 마무리 단계
📌 삼성전자 2021년 세계 최초 HBM-PIM 개발 성능 2배 에너지 70% 절감 실증
📌 삼성전자 LPDDR5X-PIM 샘플 올해 하반기 고객사 공급 예정
📌 SK하이닉스 AiM·AiMX 기반 온디바이스 AI 이어 피지컬 AI 시장 공략 전망

📋 목차

① 메모리 월 문제 왜 메모리가 CPU의 발목을 잡나
② PIM이란 무엇인가 메모리가 직접 연산하는 구조
③ LPDDR6-PIM 표준화 임박 왜 지금이 변곡점인가
④ 삼성전자 vs SK하이닉스 PIM 기술 경쟁 구도
⑤ 투자자가 알아야 할 PIM 시장의 현실과 전망

① 메모리 월 문제 왜 메모리가 CPU의 발목을 잡나

"AI는 곧 메모리 반도체"라는 말이 나올 정도로, 최근 AI 반도체 산업의 화두는 GPU에서 메모리로 옮겨가고 있습니다. KAIST 김정호 교수는 최근 강연에서 "AI의 능력은 앞으로 메모리의 고도화 수준에 따라 결정될 것"이라며 "AI 컴퓨팅은 결국 시간 싸움에 달려있고, GPU보다 메모리의 중요성이 더 커지고 있다"고 강조했습니다.

이런 주장의 배경에는 '메모리 월(Memory Wall)' 문제가 있습니다. 기존 컴퓨터 구조에서는 CPU나 GPU가 연산을 하려면 반드시 메모리(D램)에서 데이터를 불러와 캐시로 옮긴 뒤 처리하고, 결과를 다시 메모리에 저장하는 과정을 거쳐야 합니다. 이 과정에서 두 가지 문제가 발생합니다. 첫째는 잦은 데이터 전송으로 인한 지연 시간이고, 둘째는 칩 사이를 오가는 데이터 전송에서 발생하는 전력 소모와 발열입니다.

손교민 삼성전자 마스터는 지난 2월 세미콘 코리아 2026 AI 서밋에서 "현재 메모리 대역폭의 부족으로 인해 GPU의 성능이 100% 발휘되지 못하고 있다"고 지적했습니다. 아무리 GPU의 연산 능력이 뛰어나도, 데이터를 충분히 빠르게 공급받지 못하면 진짜 성능을 낼 수 없다는 의미입니다. 특히 거대언어모델(LLM)처럼 막대한 데이터를 처리해야 하는 AI 모델일수록 이 병목 현상은 더욱 치명적입니다.

🧱 메모리 월(Memory Wall) 문제 핵심 정리

① 지연 시간 CPU·GPU와 메모리 간 잦은 데이터 이동으로 처리 속도 저하
② 전력 소모 Off-chip 데이터 전송 과정에서 막대한 에너지 낭비
③ 발열 문제 데이터 이동량이 늘수록 시스템 발열도 함께 증가
④ GPU 성능 제약 메모리 대역폭 부족으로 GPU가 100% 성능 발휘 못함
⑤ AI 시대 심화 LLM 등 거대 AI 모델일수록 데이터 이동 부담 기하급수적 증가

이 문제를 해결하기 위해 업계가 주목한 방향이 바로 '데이터가 이동하는 대신, 데이터가 있는 곳에서 연산을 처리하자'는 발상의 전환입니다. 이것이 PIM(Processing-In-Memory, 프로세싱 인 메모리) 기술의 출발점입니다.

② PIM이란 무엇인가 메모리가 직접 연산하는 구조

PIM(Processing-In-Memory)은 메모리 뱅크 인근에 연산 장치(Processing Unit)를 배치해, 메모리 디바이스 내부에서 간단한 연산을 직접 수행할 수 있도록 하는 기술입니다. 기존에는 CPU나 GPU가 연산을 전담하고 메모리는 단순히 데이터를 저장하는 역할만 했지만, PIM 구조에서는 메모리 자체가 일부 연산 기능까지 갖게 됩니다.

SK하이닉스의 기술 설명에 따르면, PIM은 "메모리에 프로세서의 연산 기능을 더해, 기존 메모리와 프로세서 사이 데이터 병목현상을 해소하고 속도 성능을 획기적으로 높여주는 차세대 메모리"입니다. 데이터가 GPU와 메모리 사이를 반복적으로 이동하지 않고 메모리 내부에서 처리되기 때문에, 실시간 처리 효율을 크게 높일 수 있다는 것이 핵심 원리입니다.

흥미로운 점은 이 기술을 부르는 이름에 대한 시각 차이입니다. 김정호 KAIST 교수는 'PIM'이라는 명칭보다 '컴퓨팅 인 HBM'이라는 표현을 선호한다고 밝혔는데, 그 이유는 "메모리에 연산 기능을 붙였다"는 PIM이라는 이름이 메모리의 역할을 너무 좁게 정의하고 있다는 것입니다. 이런 시각의 차이는 이 기술이 단순한 '메모리의 보조 기능'이 아니라 'GPU와 메모리 사이 역학관계 자체를 바꾸는 변곡점'이 될 수 있다는 인식을 보여줍니다.

📋 PIM 기술 핵심 원리

✅ 기존 구조 CPU/GPU가 연산 메모리는 저장만 담당 데이터 반복 이동
✅ PIM 구조 메모리 내부에 연산장치(PCU) 통합 메모리가 직접 일부 연산 수행
✅ 핵심 효과 CPU-메모리 간 데이터 이동 감소 → 속도 향상 + 에너지 효율 증가
✅ 적용 가능 메모리 HBM뿐 아니라 LPDDR, GDDR 등 다양한 메모리에 적용 가능
✅ 분류 Digital PIM(현재 주류, 실물 칩 구현) vs Analog PIM(에너지효율 더 높으나 구현 까다로움)

실제 성능 검증 결과도 인상적입니다. 삼성전자가 AMD의 GPU 가속기 'MI-100'에 HBM-PIM 메모리를 탑재해 대규모 AI 언어 모델을 학습시킨 결과, 기존 HBM 탑재 GPU 가속기 대비 평균 성능은 약 2배 증가했고 에너지 소모는 약 50% 감소했습니다. 8개의 GPU 가속기로 구성된 시스템 기준으로는 1년에 약 2100GWh의 에너지를 절감할 수 있는 것으로 확인됐는데, 이는 탄소 배출량 약 96만 톤에 해당하며 약 1억 그루의 소나무가 1년 동안 흡수하는 탄소량보다도 많은 수준입니다.

▲ 기존 구조 vs PIM 구조 비교 메모리 내부 연산으로 데이터 이동 감소 전력 소모 50~70% 절감 효과 (출처: 삼성반도체뉴스룸·SK하이닉스뉴스룸·머니헌터SU🏹)

③ LPDDR6-PIM 표준화 임박 왜 지금이 변곡점인가

PIM 기술이 지금 다시 주목받는 결정적인 이유는 표준화 작업이 마무리 단계에 접어들었다는 소식입니다. 글로벌반도체표준협의기구(JEDEC)는 최근 8세대 저전력 D램(LPDDR6) 기반 PIM의 기술 표준 개발이 마무리 단계에 접어들었다고 밝혔습니다. JEDEC은 "LPDDR6 PIM은 엣지 컴퓨팅과 데이터센터 추론 워크로드의 급증하는 성능·에너지 요구사항을 충족하도록 설계됐다"며 "메모리와 컴퓨팅 간의 데이터 이동을 줄여 추론 성능을 향상시키고, 전력 소비를 낮추는 동시에 LPDDR 기반 설계의 효율성 이점을 유지한다"고 설명했습니다.

표준화가 갖는 의미는 단순하지 않습니다. 아무리 우수한 기술이라도 산업 표준으로 인정받지 못하면 다양한 제조사와 고객사가 호환되는 제품을 만들기 어렵습니다. 표준화가 이뤄지면 상용화 시기를 앞당기는 효과가 있고, 글로벌 고객사들도 더 적극적으로 PIM 기반 제품을 채택할 수 있는 환경이 조성됩니다.

🎯 LPDDR6-PIM 표준화가 중요한 이유

① 호환성 확보 표준화로 여러 제조사·고객사 간 제품 호환 가능
② 상용화 가속 표준 마련이 곧 시장 개화 타이밍을 앞당기는 신호
③ 온디바이스 AI 최적화 스마트폰 등 대역폭·전력 제한적 기기에 특화
④ 엣지·데이터센터 동시 겨냥 추론 워크로드 성능·에너지 요구사항 충족
⑤ 한국 기업 선점 기회 국내 기업이 제안한 HBM-PIM 구조가 상용화 가능성 높였다는 평가

특히 LPDDR 기반 PIM의 활용 가능성이 높게 평가받는 이유는 온디바이스 AI 시장과 직결되기 때문입니다. 스마트폰 등 온디바이스 AI 기기는 대역폭과 전력이 제한적이라 데이터 병목이 발생하기 쉬운데, 저전력에 특화된 LPDDR과 PIM을 결합하면 이 문제를 효과적으로 해결할 수 있습니다. 업계에서는 이런 이유로 온디바이스 AI 시장을 중심으로 PIM이 본격적으로 활성화될 것이라는 전망을 내놓고 있습니다.

④ 삼성전자 vs SK하이닉스 PIM 기술 경쟁 구도

HBM 이후 차세대 메모리 시장을 선점하기 위해 삼성전자와 SK하이닉스 모두 PIM 기술 개발에 속도를 내고 있습니다. 두 회사의 접근 방식과 제품 라인업을 비교해보면 흥미로운 차이가 드러납니다.

🔵 삼성전자 세계 최초 타이틀과 다양한 제품군

삼성전자는 2021년 기존 HBM에 인공지능 프로세서를 결합한 'HBM-PIM'을 세계 최초로 개발하며 PIM 시대를 열었습니다. 이후 AI 엔진을 탑재한 모듈형 제품 'AXDIMM'과 이를 모바일용으로 확장한 'LPDDR-PIM' 등으로 제품군을 다양화해왔습니다. 손교민 삼성전자 마스터는 지난 2월 "저전력 D램인 LPDDR5X에 PIM을 적용할 계획"이라며 "현재 고객사들과 개발 중인 LPDDR5X-PIM 샘플을 올해 하반기 공급할 수 있을 것"이라고 밝혔습니다. 삼성전자는 또한 PIM과 함께 CXL 기반의 PNM(Processing-Near-Memory) 기술도 함께 개발하며 솔루션을 다각화하고 있습니다.

🟢 SK하이닉스 AiM·AiMX로 온디바이스부터 피지컬AI까지

SK하이닉스는 자체 PIM 브랜드인 'AiM(Accelerator-in-Memory)'과 'AiMX'로 대응하고 있습니다. SK하이닉스는 올해 1분기 컨퍼런스콜에서 "컴퓨터익스프레스링크(CXL), PIM 등 차세대 AI 솔루션의 검증과 최적화 목적으로 지난해 클라우드 업체와 업무협약(MOU)을 체결했다"며 "글로벌 고객들과 기술 협력을 적극 확대하겠다"고 밝혔습니다. 업계에서는 SK하이닉스가 AiM을 기반으로 먼저 온디바이스 AI 시장 입지를 넓힌 뒤, 이어서 피지컬 AI(로봇 등 물리적 AI) 시장까지 공략에 나설 것으로 보고 있습니다.

항목	삼성전자	SK하이닉스
대표 제품	HBM-PIM, AXDIMM, LPDDR-PIM	AiM, AiMX
선점 타이틀	세계 최초 HBM-PIM(2021년)	자체 브랜드 AiM 시리즈
가까운 일정	LPDDR5X-PIM 샘플 하반기 공급	클라우드 업체와 MOU 검증·최적화
타깃 시장	데이터센터+모바일 동시 공략	온디바이스AI → 피지컬AI 순차 확장
병행 기술	CXL 기반 PNM 기술 동시 개발	CXL 차세대 AI 솔루션 검증

▲ 삼성전자 SK하이닉스 PIM 기술 경쟁 구도 HBM-PIM 세계 최초 vs AiM 온디바이스 전략 LPDDR6 표준화로 격전 본격화 (출처: 뉴스토마토·한국경제·머니헌터SU🏹)

⑤ 투자자가 알아야 할 PIM 시장의 현실과 전망

PIM은 분명 매력적인 차세대 기술이지만, 투자 관점에서는 균형 잡힌 시각이 필요합니다. 업계 관계자는 "PIM은 차세대 기술로 주목받는 솔루션 중 하나이지만, 투입 비용 대비 상품성이나 글로벌 고객사 수주 등 헤쳐갈 과제가 많다"고 지적했습니다. 다만 "제품 표준화가 이뤄진다면 상용화 시기를 앞당기는 측면에서는 긍정적"이라고 평가했습니다.

반도체 기술 로드맵 전망에 따르면, PIM 기술의 본격적인 확산은 단계적으로 이뤄질 전망입니다. 2025년부터 2030년까지는 HBM-PIM의 상용 사용이 확대되며 AI·데이터센터에서 GPU와 결합된 다중타일 구조가 도입될 것으로 예상됩니다. 2030년대 중반에는 PIM 전용 명령어셋과 실행 런타임이 표준화되고, D램·비휘발성메모리(NVM)·3D 패키지 기반의 혼합형 PIM 구조가 등장해 작업 부하에 따른 동적 연산 분배가 가능해질 것으로 전망됩니다. 2040년경에는 PIM이 메모리·연산·네트워크를 통합한 'Near/In-Memory Computing Fabric'으로 확장되며, 초대형 AI 모델 학습·추론을 위한 핵심 기술로 자리 잡을 것이라는 장기 전망도 나옵니다.

🗺️ PIM 기술 단계별 로드맵 전망

✅ 2025~2030년 HBM-PIM 상용 확대 GPU와 결합된 다중타일 구조 도입
✅ 2026년 현재 LPDDR6-PIM 표준화 마무리 단계 LPDDR5X-PIM 샘플 공급 임박
✅ 2030년대 중반 PIM 전용 명령어셋·런타임 표준화 D램·NVM 혼합형 구조 등장
✅ 2040년경 메모리·연산·네트워크 통합 컴퓨팅 패브릭으로 진화
✅ 투자 시사점 단기 성과보다 장기 기술 주도권 확보 관점에서 접근 필요

PIM이 투자자들에게 시사하는 더 큰 의미는 메모리 반도체의 위상 변화입니다. 그동안 메모리는 '저장'이라는 역할에 한정됐고, 가격이 등락하는 사이클 산업으로 평가받았습니다. 그런데 PIM이 본격화되면 메모리가 일부 연산 기능까지 흡수하게 되면서, 메모리 기업의 기술 경쟁력이 곧 AI 시스템 전체의 성능을 좌우하는 핵심 변수가 됩니다. 이는 메모리 산업이 단순 사이클 산업에서 기술 고도화 경쟁이 중심이 되는 산업으로 진화하고 있다는 신호로 해석할 수 있습니다.

다만 명심해야 할 점도 있습니다. PIM은 아직 본격적인 양산·매출 단계가 아니라 표준화와 샘플 공급 직전 단계에 있는 기술입니다. 단기적으로 삼성전자와 SK하이닉스의 실적을 견인하는 것은 여전히 HBM 등 기존 메모리 제품입니다. PIM은 당장의 실적보다는 향후 5~10년 메모리 기업들의 기술 주도권을 가늠하는 장기 지표로 지켜보는 것이 합리적인 접근입니다.

📊 핵심 요약

AI 시대의 핵심 병목인 메모리 월 문제를 해결하기 위해, 메모리 내부에서 직접 연산을 수행하는 PIM 기술이 다시 주목받고 있습니다. JEDEC의 LPDDR6 기반 PIM 표준화가 마무리 단계에 접어들면서, 그동안 연구개발 단계에 머물러 있던 기술이 상용화를 향한 본격적인 출발선에 서고 있습니다. 삼성전자는 2021년 세계 최초 HBM-PIM 개발이라는 타이틀을 보유하고 있고, LPDDR5X-PIM 샘플을 올해 하반기 공급할 예정입니다. SK하이닉스는 AiM과 AiMX를 통해 온디바이스 AI에서 피지컬 AI까지 순차적으로 시장을 공략할 계획입니다. PIM이 본격화되면 메모리는 단순 저장 장치를 넘어 AI 시스템 성능을 좌우하는 핵심 변수로 위상이 바뀝니다. 다만 아직 본격적인 매출 단계는 아닌 만큼, 단기 실적 변수보다는 향후 5~10년 메모리 기업의 기술 주도권을 가늠하는 장기 지표로 접근하는 것이 합리적입니다.

❓ 자주 묻는 질문

Q. PIM이 상용화되면 정말 메모리가 CPU를 대체하나요?

A. 완전한 대체는 아닙니다. PIM은 메모리 내부에서 '간단한' 연산을 처리해 데이터 이동을 줄이는 기술이며, 복잡한 범용 연산은 여전히 CPU와 GPU가 담당합니다. 다만 메모리가 일부 연산 기능을 흡수하면서 CPU·GPU와 메모리 사이의 역할 분담 구조 자체가 달라지는 변화로 이해하는 것이 정확합니다.

Q. LPDDR6-PIM 표준화가 왜 그렇게 중요한 뉴스인가요?

A. 표준화는 산업 전체가 같은 규격으로 제품을 만들 수 있게 하는 토대입니다. 표준이 없으면 각 제조사가 서로 다른 방식으로 PIM을 구현해 고객사들이 호환성 문제로 도입을 꺼릴 수 있습니다. JEDEC 표준화가 마무리되면 글로벌 고객사들의 채택 장벽이 낮아져 상용화 속도가 빨라질 수 있습니다.

Q. 삼성전자와 SK하이닉스 중 PIM 경쟁에서 누가 앞서 있나요?

A. 단순 비교는 어렵습니다. 삼성전자는 2021년 세계 최초로 HBM-PIM을 상용화한 선구자적 지위를 갖고 있고, LPDDR5X-PIM 샘플 공급도 임박해 있습니다. SK하이닉스는 AiM·AiMX라는 자체 브랜드로 온디바이스 AI 시장부터 단계적으로 공략하는 전략을 펴고 있습니다. 두 회사 모두 본격적인 양산·매출 확대는 아직 시작 전이라, 향후 고객사 확보 경쟁이 승부를 가를 가능성이 높습니다.

Q. PIM 기술이 지금 당장 주가에 큰 영향을 주나요?

A. 현재 삼성전자와 SK하이닉스의 실적과 주가를 견인하는 주력은 여전히 HBM 등 기존 메모리 제품입니다. PIM은 아직 표준화와 샘플 공급 단계에 있어 당장의 매출 기여도는 제한적입니다. 다만 장기적으로 메모리 기업의 기술 경쟁력과 차세대 시장 선점 여부를 가늠하는 중요한 지표로서 의미가 있습니다.

Q. PIM이 온디바이스 AI나 로봇(피지컬 AI)에 왜 유리한가요?

A. 스마트폰이나 로봇 같은 기기는 배터리로 작동하기 때문에 전력 효율이 매우 중요하고, 동시에 대역폭도 제한적입니다. PIM은 데이터 이동을 줄여 전력 소모를 50~70%까지 절감할 수 있는 기술이라, 이런 제약이 큰 기기에서 특히 효과적입니다. 이런 이유로 업계는 온디바이스 AI와 피지컬 AI를 PIM의 핵심 응용 분야로 보고 있습니다.

⚠️ 투자 유의사항
본 포스팅은 투자 정보 제공 목적으로 작성되었으며 특정 종목의 매수·매도를 권유하지 않습니다. 주식 투자는 원금 손실 가능성이 있으며, 투자의 최종 판단과 책임은 투자자 본인에게 있습니다. 본 내용은 공개된 정보를 기반으로 작성했습니다.

여기까지 읽어주셔서 감사합니다! 🏹
메모리가 연산을 품는 시대, 그 표준의 첫 줄을 한국 기업이 쓰고 있습니다.