SEMICON Japan 2026(12/9~11)에 맞춰 참가 기업의 광고 게재 문의를 받고 있습니다.SEMICON Japan 2026 광고 모집자세히 보기

반도체 용어 · 메모리

PIM

Processing-In-Memory, 프로세싱 인 메모리, 메모리 내 연산, 지능형 메모리

뜻


PIM(Processing-In-Memory, 메모리 내 연산)은 프로세서와 메모리가 분리된 기존 폰 노이만 구조의 제약을 넘어, 메모리 칩 내부나 메모리에 가까운 곳에 연산 회로를 넣어 데이터 전송 병목(메모리 장벽)을 해소하려는 컴퓨팅 아키텍처입니다. AI의 대규모 행렬 연산과 추론 처리에서 DRAM 대역폭의 제약이 성능의 한계가 되고 있다는 점이 배경입니다.

그림 해설


메모리 내 연산(PIM)의 사고방식과 접근법(DRAM 내 연산·근접 연산·소자 연산)
새 탭에서 열기

그림을 클릭하면 그 위치를 확대합니다. 휠로 확대·축소, 드래그로 이동

프로세서와 메모리를 나누는 폰 노이만형의 제약을 넘기 위한 기술.

NMC와 IMC


PIM의 대표적인 접근에는 DRAM 안에 ALU나 곱셈-누산기를 탑재하는 NMC(Near-Memory Computing)와, 처리를 메모리 셀 어레이 안에서 실행하는 IMC(In-Memory Computing)가 있습니다. 삼성전자는 HBM 스택 안에 AI 연산 코어를 집적한 HBM-PIM(Aquabolt-XL)을 개발해 메모리 대역폭당 연산 효율을 높였습니다. SK하이닉스도 PIM 제품 개발을 진행하고 있습니다.

LLM 추론과의 궁합


PIM의 장점은 메모리 대역폭에 성능이 좌우되는 워크로드(LLM 추론, 추천 시스템 등)에서의 성능 향상과, 데이터 이동을 줄여 얻는 소비 전력 절감입니다. 특히 LLM의 디코드 단계는 메모리 바운드 처리이므로 PIM과의 궁합이 매우 좋습니다.

과제


PIM의 과제로는 기존 프로그래밍 모델·소프트웨어 스택과의 호환성 확보, 메모리 안에 연산기를 추가하는 데 따른 DRAM 비용 증가가 꼽힙니다. AI 프레임워크에서 PIM을 쓰기 위한 소프트웨어 개발도 진행되고 있습니다.

CXL과의 관계


PIM과 CXL(Compute Express Link)의 관계로는, CXL 메모리 모듈에 PIM 기능을 더한 CXL-PIM 개념이 제안되어 있으며, 표준 인터페이스를 통해 호스트 CPU/GPU가 PIM 자원을 투명하게 이용하는 설계가 연구되고 있습니다. PIM은 AI 반도체의 성능과 전력 효율을 개선할 기술로 주목받고 있습니다.

관련 장비·소재 분류


관련 기업


자주 묻는 질문


PIM은 왜 필요한가요?

AI의 대규모 행렬 연산과 추론에서는 프로세서와 메모리 사이의 데이터 전송이 병목(메모리 장벽)이 되어 성능을 제한하기 때문입니다. 메모리 안이나 가까이에서 연산하면 데이터 이동을 줄여 성능과 전력 효율을 높일 수 있습니다.

PIM의 과제는 무엇인가요?

기존 프로그래밍 모델·소프트웨어 스택과의 호환성 확보와, 메모리에 연산기를 추가하면서 생기는 DRAM 비용 증가가 주요 과제입니다.

관련 용어


  • HBM4
    인터페이스를 2048비트로 넓힌 차세대 HBM. 베이스 다이의 로직화가 핵심
  • HBM3E
    HBM3를 개량해 2024년 양산이 시작된 고대역폭 메모리로 AI 가속기의 주력 메모리
  • CXL
    PCIe 물리층으로 CPU·가속기·메모리를 캐시 일관성 있게 잇는 개방형 표준
  • 뉴로모픽 반도체
    뇌의 뉴런·시냅스 구조와 동작을 하드웨어로 모방한 저전력 집적회로
  • CoWoS
    TSMC의 2.5D 패키징. GPU와 HBM을 인터포저 위에 함께 올린다
  • DRAM
    커패시터에 전하를 저장하는 휘발성 메모리. PC·서버·스마트폰의 작업 메모리
  • NAND 플래시
    전원을 꺼도 데이터가 남는 비휘발성 메모리. SSD·스마트폰 저장공간
  • HBM
    DRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리

출처


  1. An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System(arXiv(ETH Zürich ほか))

최종 업데이트: 2026년 11월 1일