記憶體內運算（PIM：Processing-In-Memory）是突破處理器與記憶體分離之傳統馮紐曼架構的限制，在記憶體晶片內部或鄰近記憶體之處內建運算電路，以消除資料傳輸瓶頸（記憶體牆）的創新運算架構。其背景在於，AI的大規模矩陣運算與推論處理中，DRAM頻寬的限制已成為性能極限。
PIM的代表性做法有：①在DRAM內搭載ALU或乘積累加運算器的「Near-Memory Computing（NMC）」；②在記憶體單元陣列內執行處理的「In-Memory Computing（IMC）」。三星電子開發了HBM-PIM（Aquabolt-X），在HBM堆疊內整合AI運算核心，大幅提升每單位記憶體頻寬的運算效率。SK海力士也正在開發AIMM（Accelerator-in-Memory Module）。
PIM的優點在於：①在受記憶體頻寬限制的工作負載（LLM推論、推薦系統等）上大幅提升性能（2～10倍）；②減少資料搬移以降低功耗（降低40～60%）。尤其LLM（大型語言模型）的解碼階段屬於記憶體受限（memory-bound）的處理，與PIM的契合度極高。
PIM的課題包括：①確保與既有程式設計模型及軟體堆疊的相容性；②增設記憶體內運算器造成DRAM成本增加（增加20～40%）；③運算器與記憶體單元之間的漏電流導致良率下降。整合至輝達與超微的GPU架構，以及開發支援PIM的TensorFlow、PyTorch執行環境，也都在推進中。
關於PIM與CXL（Compute Express Link）的關係，已有人提出在CXL記憶體模組上賦予PIM功能的「CXL-PIM」概念，研究讓主機CPU/GPU經由標準介面透明地使用PIM資源的設計。預估2025～2030年將是搭載PIM之HBM商用化加速的時期，PIM被定位為大幅改變AI半導體性能與電源效率的顛覆性技術。