반도체의 역사를 돌아보면 메모리 기술은 끊임없이 더 작게, 더 빠르게, 더 많이 저장하는 방향으로 발전해 왔습니다.
DRAM의 등장으로 컴퓨터는 데이터를 빠르게 저장하고 꺼낼 수 있게 되었고, NAND 플래시는 스마트폰과 SSD 시대를 열었습니다.
하지만 AI 시대가 시작되면서 새로운 문제가 나타났습니다.
"데이터를 얼마나 많이 저장할 수 있는가?"에서 "데이터를 얼마나 빠르게 이동시킬 수 있는가?"가 중요한 문제로 떠오른 것입니다.
특히 생성형 AI와 대규모 언어 모델의 발전은 메모리와 프로세서 사이의 데이터 이동량을 폭발적으로 증가시켰습니다.
이러한 변화 속에서 등장한 핵심 기술이 바로 HBM(High Bandwidth Memory)과 PIM(Processing-In-Memory)입니다.
1. 메모리의 성능은 왜 한계에 부딪혔을까?
기존 컴퓨터 시스템은 기본적으로 CPU나 GPU 같은 프로세서와 메모리가 분리된 구조를 사용합니다.
프로세서는 계산을 담당하고 메모리는 데이터를 저장합니다.
문제는 AI 연산이 복잡해지면서 프로세서가 처리해야 할 데이터가 급격하게 증가했다는 것입니다.
프로세서의 연산 속도가 아무리 빨라져도 필요한 데이터가 메모리에서 늦게 도착한다면 전체 시스템의 성능은 제한될 수밖에 없습니다.
이를 흔히 메모리 병목 현상이라고 합니다.
즉,
연산 능력 ↑ → 데이터 요구량 ↑ → 메모리와 프로세서 사이의 데이터 이동 부담 ↑
이라는 문제가 발생한 것입니다.
AI 시대에는 단순히 계산 성능만 높이는 것이 아니라 메모리 대역폭과 데이터 이동 효율을 높이는 것이 중요해졌습니다.
2. HBM의 등장
이러한 문제를 해결하기 위해 발전한 대표적인 기술이 HBM(High Bandwidth Memory)입니다.
HBM은 기존 DRAM을 단순히 평면적으로 배치하는 방식에서 벗어나 여러 개의 메모리 다이를 수직으로 쌓는 3차원 구조를 활용합니다.
HBM의 핵심은 단순히 메모리를 많이 쌓는 것이 아닙니다.
여러 메모리 층을 연결하고 넓은 데이터 통로를 활용해 한 번에 많은 데이터를 주고받을 수 있도록 설계했다는 점이 중요합니다.
기존 메모리가 비교적 좁은 도로를 빠르게 달리는 방식이었다면, HBM은 차선 자체를 크게 늘린 고속도로에 가깝습니다.
3. TSV가 만든 수직 메모리
HBM을 이해하려면 TSV(Through-Silicon Via)라는 기술을 알아야 합니다.
TSV는 실리콘 다이를 수직으로 관통하는 미세한 연결 통로입니다.
이를 통해 위아래에 쌓인 메모리 칩들이 서로 데이터를 주고받을 수 있습니다.
기존에는 반도체 칩을 주로 평면적으로 연결했다면, TSV 기술을 활용하면 데이터를 수직 방향으로 전달할 수 있습니다.
결과적으로 제한된 공간 안에 더 많은 연결을 구현하면서 높은 데이터 처리량을 확보할 수 있습니다.
HBM은 이러한 3차원 패키징 기술의 발전을 대표하는 사례라고 볼 수 있습니다.
4. HBM과 AI의 만남
HBM이 특히 주목받게 된 이유는 AI 가속기와의 궁합 때문입니다.
AI 학습과 추론에서는 대규모 데이터를 반복적으로 읽고 쓰는 작업이 발생합니다.
GPU와 같은 AI 가속기가 빠르게 계산하려면 그만큼 많은 데이터가 지속적으로 공급되어야 합니다.
이때 HBM의 높은 메모리 대역폭이 중요한 역할을 합니다.
특히 대규모 AI 모델이 등장하면서 메모리 용량뿐만 아니라 메모리 대역폭과 전력 효율이 시스템 성능을 좌우하는 중요한 요소가 됐습니다.
그래서 오늘날 AI 반도체를 이야기할 때는 GPU나 AI 가속기만큼이나 HBM이 중요한 부품으로 평가됩니다.
5. HBM은 어떻게 발전해 왔을까?
HBM 역시 한 번에 완성된 기술은 아닙니다.
세대가 발전하면서 데이터 전송 성능과 용량, 적층 기술 등이 지속적으로 향상되었습니다.
초기 HBM에서 시작해 HBM2, HBM2E, HBM3, HBM3E 등으로 발전하면서 AI와 고성능 컴퓨팅 분야에서 활용도가 크게 높아졌습니다.
최근에는 더욱 많은 메모리를 적층하고 더 높은 대역폭을 확보하기 위한 기술 경쟁이 이어지고 있습니다.
결국 HBM의 발전 방향은 다음과 같이 정리할 수 있습니다.
더 높은 대역폭 → 더 큰 용량 → 더 많은 적층 → 더 높은 전력 효율
6. 하지만 HBM에도 한계는 있다
HBM이 모든 문제를 해결하는 것은 아닙니다.
메모리를 여러 층으로 쌓고 복잡한 패키징 기술을 적용하기 때문에 제조 공정이 어려워집니다.
특히 여러 개의 다이를 적층하는 과정에서는 수율 관리와 열 관리가 중요한 문제가 됩니다.
또한 고성능 AI 시스템에 HBM을 적용하면 패키징 기술과 전력 설계까지 함께 고려해야 합니다.
즉, HBM 시대에는 단순히 "메모리 칩을 잘 만드는 기술"만으로는 부족합니다.
반도체 설계 + 메모리 + 패키징 + 열 관리가 하나의 시스템으로 연결되고 있습니다.
7. 메모리 자체가 계산하면 어떨까?
여기서 또 하나의 새로운 발상이 등장합니다.
기존 컴퓨터에서는 메모리는 데이터를 저장하고 프로세서는 계산을 담당했습니다.
그런데 데이터의 이동 자체가 병목이 된다면 이런 질문을 할 수 있습니다.
"데이터를 프로세서까지 가져가지 말고, 메모리 가까이에서 계산하면 어떨까?"
이러한 아이디어에서 발전한 기술이 바로 PIM(Processing-In-Memory)입니다.
8. PIM은 무엇인가?
PIM은 말 그대로 메모리 안에서 연산을 수행하는 기술입니다.
기존 구조에서는
메모리 → 데이터 이동 → CPU/GPU → 계산
이라는 과정이 필요합니다.
PIM에서는 메모리 내부 또는 메모리와 매우 가까운 위치에 연산 기능을 추가해 데이터 이동을 줄이는 것을 목표로 합니다.
쉽게 비유하면,
기존 방식은 필요한 자료를 창고에서 사무실로 계속 가져와 계산하는 방식입니다.
PIM은 창고 안에 간단한 계산 공간을 만들어 자료를 이동시키는 횟수 자체를 줄이는 방식이라고 볼 수 있습니다.
9. 왜 AI에서 PIM이 중요할까?
AI 연산에서는 동일하거나 유사한 데이터를 반복적으로 처리하는 경우가 많습니다.
특히 행렬 연산과 같은 작업은 엄청난 양의 데이터를 이동시키면서 계산해야 합니다.
이 과정에서 발생하는 데이터 이동은 시간뿐 아니라 전력도 소비합니다.
PIM은 데이터를 메모리 가까이에서 처리함으로써 이러한 이동을 줄이는 것을 목표로 합니다.
따라서 PIM은
- 데이터 이동 감소
- 메모리 접근 효율 향상
- 전력 소비 감소 가능성
- AI 연산 효율 향상
등의 장점을 기대할 수 있습니다.
10. HBM과 PIM은 경쟁 기술일까?
흥미로운 점은 HBM과 PIM이 반드시 서로 경쟁하는 기술은 아니라는 것입니다.
두 기술은 서로 다른 문제에 집중합니다.
HBM → 데이터를 빠르게 이동시키는 것
PIM → 데이터를 멀리 이동시키지 않고 메모리 근처에서 처리하는 것
즉, HBM이 데이터 통로를 넓히는 기술이라면 PIM은 데이터 이동 자체를 줄이는 기술이라고 이해할 수 있습니다.
앞으로는 두 기술이 서로 결합되면서 AI 시스템의 효율을 높이는 방향으로 발전할 가능성도 있습니다.
11. 메모리의 역할이 바뀌고 있다
과거 메모리는 비교적 명확한 역할을 가지고 있었습니다.
저장하고 → 전달한다.
하지만 AI 시대에는 메모리에 요구되는 역할이 달라지고 있습니다.
저장 → 빠른 전달 → 데이터 처리 지원
이라는 방향으로 확장되고 있습니다.
이것은 반도체 산업에서 상당히 중요한 변화입니다.
메모리가 단순한 저장장치를 넘어 컴퓨팅 시스템의 핵심 구성 요소로 변화하고 있기 때문입니다.
12. 메모리 패러다임의 변화
반도체 메모리의 발전을 시대별로 정리하면 더욱 쉽게 이해할 수 있습니다.
| 시대 | 핵심 메모리 기술 | 중요했던 요소 |
| 초기 컴퓨터 | 초기 메모리 기술 | 데이터 저장 |
| DRAM 시대 | DRAM | 빠른 접근 |
| NAND 시대 | NAND 플래시 | 대용량 저장 |
| 고성능 컴퓨팅 | DDR 계열 등 | 데이터 전송 속도 |
| AI 시대 | HBM | 높은 메모리 대역폭 |
| 차세대 AI | PIM | 데이터 이동 최소화 |
이처럼 메모리의 경쟁 기준도 변화하고 있습니다.
과거에는 용량과 집적도가 중요했다면 이제는 대역폭, 전력 효율, 데이터 이동, 패키징 기술까지 함께 중요해지고 있습니다.
13. HBM과 PIM이 보여주는 미래
HBM과 PIM의 등장은 단순히 새로운 메모리 제품이 등장했다는 의미가 아닙니다.
반도체 설계의 기본적인 사고방식이 변화하고 있다는 신호입니다.
과거에는
"더 작은 트랜지스터를 만들자."
가 중요한 목표였다면,
이제는
"데이터를 어떻게 더 효율적으로 처리할 것인가?"
가 중요한 질문이 되고 있습니다.
AI 반도체에서는 연산 장치의 성능만 높이는 것으로 충분하지 않습니다.
메모리와 프로세서, 패키지, 인터커넥트가 하나의 시스템처럼 움직여야 합니다.
14. 메모리와 패키징 기술의 결합
HBM 시대에는 패키징 기술의 중요성도 크게 높아졌습니다.
메모리와 AI 가속기를 가까운 위치에 배치하고 빠르게 연결하려면 고도의 패키징 기술이 필요합니다.
따라서 미래의 반도체 경쟁은 단순한 미세공정 경쟁을 넘어설 가능성이 큽니다.
미세공정 + 메모리 + 패키징 + 인터커넥트 + 소프트웨어
가 서로 연결되는 방향으로 발전할 것입니다.
특히 AI 반도체에서는 하나의 칩만 잘 만드는 것이 아니라 여러 반도체를 하나의 시스템으로 얼마나 효율적으로 연결하는지가 중요한 경쟁력이 되고 있습니다.
15. 기억의 한계를 넘어
반도체의 역사는 결국 데이터를 더 빠르고 효율적으로 처리하기 위한 역사라고도 할 수 있습니다.
트랜지스터는 전자회로의 기본 단위를 만들었고, 집적회로는 수많은 트랜지스터를 하나의 칩에 넣을 수 있게 했습니다.
DRAM은 빠른 데이터 저장과 접근을 가능하게 했고, NAND 플래시는 대용량 저장 시대를 열었습니다.
그리고 AI 시대에 등장한 HBM과 PIM은 메모리의 역할 자체에 새로운 질문을 던지고 있습니다.
더 많이 저장하는 것에서 더 빠르게 이동하는 것으로.
그리고 다시,
더 빠르게 이동하는 것에서 아예 데이터를 이동시키지 않고 처리하는 것으로.
이것이 바로 HBM과 PIM이 보여주는 새로운 메모리 패러다임입니다.
앞으로의 반도체 경쟁은 단순히 "누가 더 작은 칩을 만드는가"를 넘어,
"누가 데이터를 가장 효율적으로 저장하고, 이동시키고, 처리할 수 있는가"
를 놓고 펼쳐질 가능성이 큽니다.
그리고 그 중심에는 메모리가 있습니다.
핵심 정리
HBM(High Bandwidth Memory)
→ 여러 메모리 다이를 적층하고 넓은 데이터 통로를 활용해 높은 대역폭을 제공하는 메모리 기술
TSV(Through-Silicon Via)
→ 실리콘을 수직으로 관통하는 연결 기술로 3차원 적층 반도체 구현에 활용
PIM(Processing-In-Memory)
→ 메모리 내부 또는 메모리 가까이에서 연산을 수행해 데이터 이동을 줄이는 기술
AI 시대의 핵심 변화
→ 메모리가 단순한 저장 공간에서 고성능 컴퓨팅을 뒷받침하는 핵심 요소로 변화
자주 묻는 질문
Q1. HBM은 일반 DRAM과 무엇이 다른가요?
HBM 역시 DRAM 기반의 메모리 기술이지만, 여러 메모리 다이를 수직으로 적층하고 넓은 인터페이스를 활용해 매우 높은 메모리 대역폭을 확보하는 것이 특징입니다.
Q2. HBM은 왜 AI 반도체에 중요한가요?
AI 연산에서는 대량의 데이터를 빠르게 공급해야 하기 때문입니다. HBM은 높은 메모리 대역폭을 제공해 AI 가속기의 데이터 처리 요구를 뒷받침할 수 있습니다.
Q3. PIM은 HBM과 같은 기술인가요?
아닙니다. HBM은 주로 높은 메모리 대역폭과 데이터 전송 효율에 초점을 맞추고, PIM은 메모리 내부 또는 가까운 위치에서 연산해 데이터 이동을 줄이는 데 초점을 둡니다.
Q4. PIM이 CPU나 GPU를 없앨 수 있나요?
현재 PIM은 CPU나 GPU를 완전히 대체하기보다는 특정 연산을 효율적으로 처리하고 데이터 이동을 줄이는 보조적인 컴퓨팅 구조로 보는 것이 적절합니다.
Q5. 앞으로 메모리 기술은 어떻게 발전할까요?
더 높은 대역폭과 용량뿐 아니라 적층 기술, 패키징, 전력 효율, 데이터 이동 감소, 메모리와 연산 기능의 결합 등이 중요한 발전 방향이 될 것으로 예상됩니다.
'반도체' 카테고리의 다른 글
| 반도체 역사 15: 손안의 컴퓨터, 스마트폰이 만든 모바일 반도체 혁명 (0) | 2026.10.06 |
|---|---|
| <반도체 역사 14> 인공지능의 심장, GPU·NPU와 커스텀 AI 칩의 부상 (0) | 2026.09.28 |
| <반도체 역사 13> 극한의 광학 기술, EUV를 넘어 High-NA EUV의 시대로 (0) | 2026.09.19 |
| <반도체 역사 12> 파운드리 삼국지 — 초미세 공정과 GAA 기술 패권 경쟁 (0) | 2026.09.16 |
| <반도체 역사 11> 패키징 혁명 — 무어의 법칙을 구원할 칩렛과 이종 집적 (0) | 2026.09.14 |