퀄컴 HBC가 실리콘으로 검증됐다 — 컴퓨트 다이 위에 LPDDR을 쌓아 '데이터 이동 비용'을 겨눈다

퀄컴이 6월 투자자의 날에 공개한 메모리 구조 High Bandwidth Compute(HBC)의 1세대가 샌디에이고 연구소에서 실리콘 검증을 통과했다고 밝혔다. 검증된 칩은 완전한 읽기·쓰기와 니어 메모리 연산을 수행한다. 설계의 두 부분이 모두 실제 실리콘에서 작동한다는 뜻이다.

HBC란 무엇인가

HBC는 스마트폰과 퀄컴의 현행 AI200 카드에 쓰이는 저전력 D램 LPDDR을 여러 층 쌓고, 층과 층을 실리콘 관통 전극(TSV)으로 수직 연결한다. 다이는 웨이퍼 대 웨이퍼 본딩으로 접합한다. 스택 아래에는 AI 추론용 컴퓨트 엔진 역할을 하는 베이스 다이가 있다. 작업을 이 다이로 오프로딩하면, 멀리 떨어진 가속기가 아니라 데이터 바로 옆에서 연산이 이뤄진다.

구조 자체는 HBM과 닮았다. HBM도 D램 다이를 TSV로 쌓는다. HBM4는 이전 세대보다 한발 더 나아가 베이스 다이를 로직 다이로 만들어, 제어와 입출력 준비 작업을 스택 안으로 더 많이 끌어들였다. HBC는 두 가지가 다르다. 첫째, HBM용 D램 다이 대신 LPDDR을 쓴다. 핀당 최고 속도는 일부 내주는 대신 비트당 에너지를 낮춘다. 둘째, 베이스 다이에 인터페이스 로직만이 아니라 실제 추론 연산을 넣는다. 목표는 데이터가 이동하는 거리를 패키지를 가로질러 별도 컴퓨트 다이로 가는 수 cm에서, 스택을 곧장 내려가는 수 μm로 줄이는 것이다.

숫자, 그리고 그 숫자가 재는 것

• 133 TB/s는 HBC 스택 하나가 아니라 AI250 가속기 카드 전체의 메모리 대역폭이다. 퀄컴은 이를 AI200 카드의 LPDDR5X 대비 18배라고 밝혔다.
• 핵심 주장은 와트당 대역폭이다. 퀄컴은 6월에 HBM 대비 약 6배를 내세웠고, 이번 검증 발표에서는 HBM4 예상 사양 대비 5배 이상이라고 밝혔다. 퀄컴이 측정한 자사 실리콘을 다른 회사의 사양서와 비교한 수치이며, 독립적으로 검증되지는 않았다.
• 일정: HBC 1세대는 Dragonfly AI250과 함께 나오며, AI250은 2027년 상반기 샘플 공급 예정이다. 양산 출하는 그 뒤다. 퀄컴은 HBC 2세대가 AI300에 들어가며, 자사 가속기 전반에 HBC를 적용하는 로드맵이 있다고 밝혔다.

왜 중요한가

AI 추론의 병목은 대개 연산 자체가 아니라 가중치와 KV 캐시를 연산 장치까지 옮기는 일이며, 에너지의 상당 부분도 바이트를 옮기는 데 든다. HBM은 순수 대역폭으로 이 문제에 답하지만 비싸고, 공급사가 세 곳뿐이며, 2027년 물량까지 매진됐다. HBC는 범용 저전력 D램을 바탕으로 연산을 메모리 쪽으로 옮기면, 추론 가속기가 HBM의 공급·비용 문제를 아예 피할 수 있다는 베팅이다. 데이터센터 실리콘 신참인 퀄컴이 AWS와 다세대 설계 계약을 따낼 수 있었던 이유도 이것으로 일부 설명된다.

관전 포인트

AI250 샘플이 2027년 상반기에 나와 고객 환경에서 133 TB/s를 내는지, 예상치가 아니라 출하된 HBM4와 비교한 독립적인 와트당 대역폭 수치, D램 스택 아래 묻힌 로직 다이의 수율과 발열, 그리고 어느 메모리 업체가 LPDDR 스택을 만드는지.