[2024 AI 동향-1] HBM (High Bandwidth Memory)

 

HBM(High Bandwidth Memory)은 D램 여러개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능/초고용량 메모리 입니다. GPU 안에도 단기 기억 장치 즉 cache memory 가 있지만, AI 학습을 위한 매개변수를 모두 담기에는 턱없이 부족합니다. 이걸 해결하기 위해 HBM을 캐시 메모리 가까이에 설치하게 됩니다. 엔비디아 AI 가속기 (HT100)가 HBM을 선택하면서 HBM이 AI 개발을 위한 필수품이 됐고, 챗GPT와 생성 AI시대가 꽃피면서 수요는 폭발적으로 늘었습니다. 일반 D램보다 2~3배 비싸고 개당 수익률이 최고 10배나 되는 고부가가치 상품입니다. 

 

HBM은 D램을 수직으로 쌓아 올려 속도를 높이면서도 전력 소비를 줄인 데다. 이렇게 쌓인 D램 내부를 전극이 관통하여 위아래로 데이터 전송 통로를 만듭니다. 그렇기에 데이터 처리 속도를 혁신적으로 끌어올렸습니다. 이런 구조 때문에 HBM을 '엘리베이터가 설치된 아파트'에 비유하기도 합니다. 

 

글로벌 HBM 시장의 성장 전망은 다음과 같습니다. 

2023년     8억 5,678만 달러

2030년 489억 2,541만 달러  추청 (연평균 성장률 68.08%) 

 

 

SK하이닉스의 약진

 

원래 미국 AMD가 처음으로 HMB를 연구 했으나 주도권을 놓치고, SK하이닉스가 그 결실을 보게 되었습니다. SK하이닉스는 2013년 세계 최초로 HBM 개발에 성공했지만, 너무 비싸서 오랫동안 주목받지 못했습니다. 하지만 경쟁사들이 HBM을 포기하는 와중에도 SK하이닉스는 끈질기게 투자해 수율을 높였고, D램을 12층 쌓아 올린 '12단 적층 HBM3' 를 최초로 출시했습니다. 이후 생성 AI열픙으로 수요는 급증했고, 4세대 HBM3에 이어서 5세대 HBEM3E까지 공개 7개월 만에 세계 최초로 양산에 들어가 먼저 엔비디아에 공급하고 있습니다. 

 

 

 

4세대 HBM까지는 SK하이닉스와 삼성전자가 주거니 받거니 시장을 주도해왔습니다만,  2023년 기준으로는 SK하이닉스 53%, 삼성전자 38%, 마이크론 9%로 각각 점유했습니다. 특히 사실상 엔비디아의 첨단 AI 반도체에 들어가는 HBM 물량은 SK하이닉스가 독점 공급하고 있습니다. 크게 보면 SK하이닉스가 시장을 주도하고, 삼성이 바짝 추격하는 모양세 입니다. 

 

SK하이닉스는 HBM3E의 두뇌 역할을 하는 '베이스 다이' 는 이천 공장에서 자체 공정으로 만들어 왔으며, TSMC에서 패키징하여 엔비디아에 납품하고 있습니다. 

최근 용인에 120조 원을 투자해 첨단 메모리 팹4기를 신설하고 청주 팹 HBM라인을 증설하는 등, 국내외에서 HBM 관련 투자와 시설을 확장 중입니다. 

미국 인디애나주에도 40억 달라를 들여 첫 번째 해외 HBM공장을 짓고 있습니다.

 

최근 SK하이닉스는 2026년 양산예정으로 6세대 HBM4를 개발하고 있습니다.  HBM4 부터는 '베이스 다이' 단계부터 TSMC와 공동 개발하게 될 것입니다. SK하이닉스는 파운드리 최강 TSMC와 기술 협력 MOU를 체결하고 HMB4를 공동 개발하고 첨단 패키징 기술 협력도 강화하였습니다. 이로 인해 메모리 성능의 한계를 돌파하는 것이 기대됩니다.    

HBM4의 경우 D램을 16단으로 쌓아 데이터 처리 용량을 48GB까지 끌어올림으로써, HBM3E에 비해 속도를 40% 높이고, 전력 소모량을 70% 수준으로 떨어뜨렸습니다. 납품처도 엔비디아 AI 서버에서 자동차 전장 등으로 확대할 예정입니다. 

 

SK하이닉스는 계속 차세대 HBM을 키워 주도권을 유지하겠다는 전략입니다. 

 

삼성의 추격

 

초기 판단 실수로 HBM 개발이 뒤늦었던 삼성전자는 엔비디아의 경쟁사인 AMD에 HBM3를 납품하는 동시에, 2024년 상반기 양산 계획인 5세대 HBM3E의 경우는 성능 테슽트를 통과해 엔비디아에도 공급을 시작할 계획입니다. 젠슨 황이 개발자 콘퍼런스에서 삼성의 HBM3E 에 '젠슨이 승인함' 이라는 요지의 메시지를 남긴 후로, 이 제품의 엔비디아 납품 가능성은 확고해 보입니다. 

 

삼성전자는 다음과 같은 4가지 목표를 동시에 추진하고 있습니다. 

 

• 3D DRAM (HBM 대신)
  
  • 3D DRAM은 셀을 수직으로 쌓아 단위 면적당 용량을 3배 키우고 산섭 현상도 줄인 제품입니다. 
  • HBM은 DRAM을 여러 개 쌓아 용량을 늘리지만, 3D DRAM은 내부에 있는 셀을 수직으로 쌓은 한 개의 DRAM 이라는 점에서 대조 됩니다. 
  • 칩 크기는 줄이고 데이터 처리용량은 늘려야하는 DRAM 개발자의 영원한 과제가 더욱 중요해진 AI 시대엔 3D DRAM이 게임 체인저가 될 수 있습니다. 

 

• CXL (HBM 대신)
• HBM4 
  • DRAM 분양에서 30년 넘게 세계 1위를 놓친 적이 없는 삼성전자에 HBM은 아픈 손가락 입니다. 
  • 틈새 상품 이던 HBM이 갑자기 메모리 반도체 대표 주자가 되었기에, SK하이닉스 주도권을 내어주게 되었습니다. 
  • 삼성은 에이스 직원 100여명을 차출해 'HBM 원팀 TF'라는 이름의 별동대 까지 구성했습니다. 
  • 젠슨 황이 5세대 가운데 업계 최대 용량(32GB)인 삼성의 12단 HBM3E 테스트에 만족을 표명하면서 2024년 말부터 양산될 엔비디아의 차세대 AI 가속기 블랙웰에 장착될 가능성이 커 보입니다. 
  • 2025년 출시 목표로(SK하닉스보다 1년 빠르다) 하이브리드 본딩 이라는 이름의 HBM 적층 신기술을 성공적으로 구현해 차세대 16단 HBM4 를 양산할 계획입니다. 
• HBM을 안쓰는 AI 가속기 개발
  • 마하-1 AI 가속기는 삼성에서 직접 개발한 AI 가속기 입니다. 
  • 이는 엔비디아의 H100 등과 정면 대결을 벌이고 AI 반도체를 뿌리째 뒤흔들겠다는 구상입니다. 
  • 엔비디아의 H100 과 HBM은 대량의 데이터를 주고 받으며 AI를 고도화하지만, 이 과정에서 속도가 떨어지고 전력이 과소비되는 소위 '데이터 병목현상' 이 생깁니다. 마하-1은 이런 병목현상을 8분의 1로 줄이고, 전력 효율을 8배 높였기 때문에, AI 가속기에 HBM 대신에 저전력 LPDDR을 붙일 수 있습니다. 
  • 마하-1을 개발 중인 삼성은 아예 GPU까지도 자체 개발해서 LDDDR을 붙이는 최첨단 패키징 작업까지 원스톱으로 AI가속기를 만들 것이라는 전망입니다. 
  • 삼성전자는 2024년 말 마하-1을 네이버에 20만 개 납품하기로 하고, 가격과 수량을 조율하는 중입니다. 
  • 네이버는 마하-1을 AI 추론용 서버에 투입해 엔비디아의 AI 가속기를 대체할 계획입니다. 

 

향 후 HBM시장은 아래와 같은 3강 구도로 편성될 가능성이 큽니다. 

1. 삼성 전자 
2. SK하이닉스 + 파운드리A (TSMC)
3. Micron + 파운드리B (아마도 TSMC)

 

###########################

출처 [AI 예감] by 권기대