언제나 좋은 자료들을 무료로 배포해주시는 인포마켓에 많은 도움을 받고있다.

메모리 헤게모니는 엔비디아로? - NVHBM의 정체 | 인포마켓 강용운 대표

이번엔 NVIDIA가 새롭게 재시한 NVHBM에 대해 정리해본다.

NVIDIA NVHBM: 메모리 컨트롤러가 HBM으로 이동한다

핵심 결론

NVIDIA는 2026년 8월 26일 NVHBM이라는 커스텀 고대역폭 메모리 아키텍처를 공개했다.

핵심 변화는 기존 XPU 내부에 있던 메모리 컨트롤러를 HBM 스택의 베이스 다이로 옮기는 것이다. NVIDIA는 여기에 자체 설계한 커스텀 PHY를 결합해 표준 HBM4E보다 높은 대역폭과 낮은 전력을 구현하겠다는 계획이다.

NVHBM은 단순한 고성능 HBM이 아니다. NVIDIA가 GPU·XPU뿐 아니라 HBM 베이스 다이, 메모리 컨트롤러, 물리 인터페이스와 공급사 인증 기준까지 직접 설계하는 방향으로 사업영역을 확장했다는 점에서 의미가 크다.

1. 기존 HBM과 NVHBM의 차이

기존 HBM은 여러 개의 DRAM 다이와 최하단 베이스 다이로 구성된다. 실제 메모리 요청을 스케줄링하고 주소를 관리하는 메모리 컨트롤러는 대부분 GPU·XPU 내부에 위치한다.

NVHBM은 이 컨트롤러를 HBM 베이스 다이로 이동시킨다.

구조를 단순화하면 다음과 같다.

표준 HBM4E

XPU 메모리 컨트롤러 → 광폭 HBM PHY → 인터포저 → HBM 베이스 다이 → DRAM 스택

NVIDIA NVHBM

XPU 커스텀 PHY → 커스텀 인터페이스 → NVIDIA 컨트롤러가 통합된 HBM 베이스 다이 → DRAM 스택

복잡한 메모리 제어 기능을 XPU에서 HBM 쪽으로 이동시키면서 XPU의 회로 면적을 줄이고, NVIDIA가 메모리 동작을 시스템 수준에서 최적화할 수 있게 되는 구조다.

출처: NVIDIA NVHBM 공식 기술자료, 2026년 8월 26일

2. NVIDIA가 제시한 성능 개선

NVIDIA는 표준 HBM4E와 비교해 NVHBM이 다음과 같은 효과를 제공한다고 설명한다.

이 수치들은 독립적인 학술 실험 결과가 아니라 NVIDIA가 제시한 자체 설계 및 시스템 비교 결과다. 모두 최적 조건을 전제로 한 up to 수치이므로 실제 성능은 XPU 구조와 워크로드에 따라 달라질 수 있다.

대역폭 증가가 중요한 이유

AI 추론에서는 모델 가중치와 KV Cache를 HBM에서 연산기로 계속 불러와야 한다. 연산성능이 아무리 높더라도 HBM이 데이터를 충분히 빠르게 공급하지 못하면 GPU의 연산기가 대기하게 된다.

NVHBM의 대역폭 개선은 다음 경로로 성능에 영향을 준다.

HBM 대역폭 증가 → 모델 가중치·KV Cache 전송속도 상승 → 연산기 유휴시간 감소 → XPU 이용률 상승 → 추론 처리량 증가

대역폭 병목이 큰 워크로드일수록 NVHBM의 효과가 크게 나타날 수 있다.

3. 메모리 컨트롤러를 옮기면 왜 XPU 면적이 늘어나는가

메모리 컨트롤러는 단순한 신호 전달 회로가 아니다. 다음 기능을 담당한다.

메모리 주소 해석
읽기·쓰기 요청 스케줄링
뱅크 및 채널 관리
요청 순서 재배치
오류 검출·정정
전력 및 리프레시 관리
데이터 버퍼링
메모리 일관성 및 트래픽 관리

AI 가속기의 HBM 채널 수와 대역폭이 증가할수록 컨트롤러와 PHY가 차지하는 면적도 커진다. 이 회로를 베이스 다이로 옮기면 XPU에는 상대적으로 작은 커스텀 PHY만 남길 수 있다.

확보된 면적은 다음과 같은 영역에 재배분할 수 있다.

Tensor Core 및 행렬연산기
Vector unit
SRAM과 캐시
Network-on-Chip
NVLink 인터페이스
워크로드별 전용 가속회로

즉, 동일한 패키지 크기 안에서 메모리 인터페이스 면적을 줄이고 연산회로 비중을 높이는 것이 NVHBM의 중요한 목적이다.

4. NVHBM과 NVLink Fusion의 역할

NVHBM과 NVLink Fusion은 하나의 플랫폼 안에서 사용되지만 담당하는 영역은 다르다.

현재 NVIDIA가 공개한 구조는 다음과 같다.

NVHBM ↔ XPU ↔ NVLink Fusion chiplet ↔ NVLink Switch ↔ 다른 XPU·GPU

NVHBM은 개별 XPU의 로컬 메모리를 개선하고, NVLink Fusion은 여러 개의 XPU와 GPU를 하나의 대규모 연산 도메인으로 묶는다.

NVIDIA는 NVHBM과 NVLink Fusion을 결합하면 메모리 대역폭, XPU 면적 및 전력 효율 개선이 복합적으로 작용해 XPU당 전체 성능을 최대 30% 높일 수 있다고 설명한다.

출처: NVIDIA NVLink Fusion 공식 페이지

5. AWS Trainium4가 첫 번째 협력 사례

AWS의 반도체 설계조직 Annapurna Labs가 최초의 NVHBM 협력사로 참여한다.

AWS는 Trainium4부터 NVLink Fusion을 적용해 자체 AI ASIC을 NVIDIA의 NVLink 6와 MGX 랙 아키텍처에 통합할 계획이다.

주요 사양은 다음과 같다.

AWS는 XPU 자체 설계에는 집중하되, HBM 베이스 다이, NVLink, 스위치, 랙, 냉각 및 전력 인프라는 NVIDIA 생태계를 활용할 수 있다.

이는 NVIDIA가 범용 GPU 공급업체를 넘어 하이퍼스케일러의 커스텀 ASIC을 위한 반제품형 AI 플랫폼 공급자로 확장하고 있음을 의미한다.

출처: AWS Trainium4와 NVIDIA NVLink Fusion 기술자료

6. NVHBM의 기술적 선행 사례: Hybrid Memory Cube

NVHBM과 가장 유사한 과거 메모리 아키텍처는 마이크론이 개발했던 HMC, Hybrid Memory Cube다.

HMC는 적층된 DRAM 아래에 로직 베이스 다이를 배치하고, 여기에 다음 기능을 통합했다.

고급 메모리 컨트롤러
Crossbar switch
DRAM 요청 스케줄링
링크 인터페이스 컨트롤러
전력 및 리프레시 관리
오류 검출·정정

프로세서는 DRAM의 세부 타이밍을 직접 관리하지 않고 추상화된 메모리 요청만 보낸다. 로직 베이스 다이가 실제 DRAM 동작을 관리하는 구조다.

HMC의 외부 인터페이스

HMC는 기존 DRAM의 광폭 병렬 인터페이스 대신 고속 직렬 링크를 사용했다.

프로세서와 HMC를 고속 직렬 링크로 연결
HMC와 다른 HMC를 연결해 메모리 네트워크 구성
Ring·Mesh·Tree 구조 지원
메모리 모듈 또는 보드 실장 가능
장기적으로 전기 SerDes와 광인터페이스 사용 가능

두 기술은 메모리 제어 기능을 로직 베이스 다이에 넣는다는 설계 철학이 유사하다. 그러나 NVIDIA는 NVHBM의 외부 인터페이스가 직렬인지, 메모리를 인터포저 밖에 배치할 수 있는지는 공개하지 않았다.

출처:

7. NVIDIA의 메모리 공동설계 연구

NVIDIA Research는 2017년 GPU용 DRAM과 메모리 컨트롤러를 공동 설계하는 연구를 발표했다.

논문이 지적한 문제

GPU는 수많은 스레드가 작은 단위의 데이터를 동시에 요청한다. 기존 DRAM은 필요한 데이터보다 훨씬 큰 행을 활성화하기 때문에 사용하지 않는 영역에서도 전력이 소비된다.

또한 메모리 내부의 뱅크 충돌과 비효율적인 요청 스케줄링 때문에 이론상 HBM 대역폭을 모두 사용하지 못하는 문제가 발생한다.

제안한 기술

연구진은 DRAM 뱅크를 더 작은 서브채널로 분할하고, 메모리 컨트롤러가 관련 명령을 합쳐 필요한 서브채널만 활성화하는 구조를 제안했다.

결과는 다음과 같다.

이 연구는 메모리 컨트롤러를 베이스 다이로 옮기는 방식을 직접 다루지는 않는다. 다만 표준 HBM을 사용하는 것보다 GPU·DRAM·메모리 컨트롤러를 공동 설계하는 편이 실제 대역폭과 전력 효율을 개선할 수 있다는 기술적 근거를 제공한다.

출처: NVIDIA Research, Architecting an Energy-Efficient DRAM System for GPUs

8. 장기적으로 HBM도 광연결될 수 있는가

2026년 8월 Nature Electronics에 게재된 CPO 연구는 장기적으로 광인터커넥트를 메모리 인터페이스까지 확대하는 아키텍처를 제시한다.

연구에는 SK하이닉스와 MIT·버지니아대·UIUC·연세대 등 글로벌 연구진이 참여했다.

전기 인터커넥트의 한계

구리 배선은 전송속도와 거리가 증가할수록 다음 문제가 심해진다.

저항 손실 증가
신호왜곡
복잡한 보정회로 필요
전력 소비 증가
지연시간 증가
연결 가능한 메모리 수 제한
패키지 면적과 발열 제약

논문이 제시한 구조

장기적으로 XPU와 메모리를 하나의 패키지 안에 고정하지 않고 광링크를 통해 연결한다.

XPU pool ↔ Photonic interposer ↔ Optical link ↔ Memory pool

이 구조에서는 여러 XPU가 대규모 메모리 풀을 공유할 수 있다. 메모리를 XPU 바로 옆에 모두 배치할 필요가 없어 패키지 면적과 열 제약을 완화할 수 있다.

기술 목표

해결해야 할 문제

전기·광 신호 변환 전력
메모리 일관성 프로토콜
광소자의 발열과 온도 민감도
패키징 수율
인터페이스 표준화
HBM 수준의 낮은 지연시간
제조비용

광연결 메모리는 충분한 기술적 근거가 있는 중장기 방향이다. 다만 NVHBM의 초기 구현 방식으로 공개된 것은 아니며, 상용화 시점 역시 확정되지 않았다.

출처:

9. Google의 광연결 HBM 특허

Google은 HBM을 ASIC 패키지에서 분리해 광섬유로 연결하는 기술 특허를 보유하고 있다.

특허에 제시된 HBM 광모듈에는 다음 부품이 들어간다.

HBM DRAM
HBM PHY
HBM 컨트롤러
Die-to-Die 인터페이스
Optical chiplet
광섬유 연결 포트

구조는 다음과 같다.

ASIC·TPU ↔ Optical chiplet ↔ Optical fiber ↔ HBM controller·PHY ↔ HBM

이 방식의 장점은 다음과 같다.

ASIC 패키지 크기와 관계없이 더 많은 HBM 연결
HBM을 연산칩에서 물리적으로 더 멀리 배치
패키지 발열 분산
여러 연산기가 대규모 메모리 풀 공유
고장 난 HBM 모듈만 교체 가능
ASIC 전체를 폐기해야 하는 비용 절감

이는 메모리 컨트롤러를 HBM 모듈 쪽으로 이동한 뒤 광인터커넥트로 프로세서와 연결하는 구조가 기술적으로 구현 가능한 방향임을 보여준다.

출처: Google 특허: Optical Communication for Memory Disaggregation in HPC

10. 베이스 다이 고도화와 파운드리 경쟁

베이스 다이에 메모리 컨트롤러와 커스텀 PHY가 들어가면 베이스 다이는 단순한 지원회로가 아니라 고성능 로직 반도체에 가까워진다.

이에 따라 다음 역량이 중요해진다.

첨단 로직 공정
고속 PHY 설계
전력관리
발열 제어
인터포저 배선 최적화
HBM DRAM과 로직 다이의 공동 검증
고급 패키징 수율

SK하이닉스와 TSMC

SK하이닉스는 HBM4부터 TSMC의 첨단 로직 공정을 베이스 다이에 적용하기로 했다. 또한 TSMC의 CoWoS와 SK하이닉스 HBM의 패키지 통합을 공동 최적화하고 있다.

이 구조에서는 NVIDIA가 컨트롤러와 베이스 다이를 설계하고, TSMC가 로직 베이스 다이를 생산하며, SK하이닉스가 DRAM 적층과 HBM 완제품을 공급할 가능성이 있다.

출처: SK하이닉스·TSMC HBM4 협력 발표

삼성전자

삼성전자는 HBM4에 자체 파운드리의 4nm 로직 베이스 다이를 적용하고 있다. 메모리, 파운드리, 로직 설계와 첨단 패키징을 내부에서 결합할 수 있다는 점이 차별화 요소다.

삼성 HBM4의 주요 사양은 다음과 같다.

핀 속도 11.7Gbps
최대 13Gbps 확장 가능
스택당 최대 대역폭 3.3TB/s
HBM3E 대비 전력효율 40% 개선
12단 24~36GB
향후 16단 48GB 확대

출처: 삼성전자 HBM4 공식 발표

따라서 TSMC는 주요 수혜자가 될 가능성이 높지만 독점적인 베이스 다이 생산자는 아니다.

11. 하이브리드 본딩과 수직 적층의 한계

HBM의 용량을 늘리는 가장 직접적인 방법은 더 많은 DRAM 다이를 수직으로 쌓는 것이다. 그러나 적층 수가 증가하면 패키지 높이, 발열, 뒤틀림, 정렬 정밀도와 수율 문제가 커진다.

하이브리드 본딩은 기존 마이크로범프를 제거하고 구리와 구리를 직접 연결한다.

하이브리드 본딩의 장점은 다음과 같다.

연결 밀도 증가
칩 사이 거리 축소
신호 손실과 지연 감소
전력 소비 감소
패키지 높이 축소
열저항 감소
16단 이상 적층에 유리

반면 제조비용이 기존 플립칩 패키징의 2~3배이고, 표면 평탄도와 다이 정렬, 생산속도 및 수율 문제가 남아 있다.

SK하이닉스는 기존 본딩 기술이 HBM4까지는 사용될 수 있지만, HBM4E와 HBM5부터는 하이브리드 본딩의 필요성이 커질 것으로 전망한다.

출처: SK하이닉스 하이브리드 본딩 기술자료

12. 산업적 의미

NVIDIA의 변화

NVIDIA는 지금까지 GPU와 시스템을 설계하고 HBM은 메모리 업체로부터 공급받았다. NVHBM에서는 NVIDIA가 다음 영역까지 직접 설계한다.

HBM 베이스 다이
메모리 컨트롤러
커스텀 PHY
공급사 검증 규격
XPU와 메모리의 공동 최적화
NVLink 및 랙 단위 시스템 구조

NVIDIA의 영향력이 GPU → 패키지 → HBM 인터페이스 → 랙 아키텍처까지 확장되는 것이다.

메모리 3사의 변화

삼성전자·SK하이닉스·마이크론의 HBM 생산량이 감소한다는 의미는 아니다. AI 모델 확대와 추론 증가로 HBM 용량과 대역폭 수요는 계속 증가할 가능성이 높다.

다만 가치사슬 내 역할은 변할 수 있다.

NVIDIA가 여러 메모리 업체에 동일한 NVHBM 구현을 적용하면 공급 다변화와 교체가 쉬워질 수 있다. 이는 NVIDIA의 구매 협상력을 높일 가능성이 있다.

반면 베이스 다이와 패키징의 복잡도가 높아지므로, 실제 양산 수율과 첨단 공정을 보유한 메모리 업체의 희소성도 동시에 커질 수 있다.

최종 판단

NVHBM의 본질은 HBM 자체를 없애거나 메모리 생산을 NVIDIA가 직접 수행하는 데 있지 않다.

NVIDIA가 메모리 시스템의 설계권을 가져오는 변화다.

인과관계는 다음과 같다.

AI 모델·KV Cache 확대
→ 메모리 대역폭과 전력 병목 심화
→ 메모리 컨트롤러를 HBM 베이스 다이로 이동
→ XPU 면적·대역폭·전력 개선
→ NVIDIA가 베이스 다이와 인터페이스 표준 주도
→ 복수 메모리 공급사를 NVIDIA 시스템에 통합
→ NVIDIA의 시스템 통제력과 협상력 강화

중장기적으로는 커스텀 PHY가 더 고속화되고 광인터커넥트가 메모리 인터페이스까지 확장될 가능성이 있다. 이 경우 HBM은 GPU 바로 옆에 고정된 부품에서 벗어나, 여러 가속기가 공유하는 대규모 메모리 풀로 발전할 수 있다.

=끝

나만의 투자이야기

2026년 8월 30일 일요일

생각정리 355 (* HBM hegemony)