Ako funguje pamäť s vysokou šírkou pásma – čip, bez ktorého sa AI nezaobíde

Prečo AI potrebuje iný druh pamäte

Zakaždým, keď rozsiahly jazykový model vygeneruje vetu alebo model difúzie obrazu vykreslí obrázok, musia sa medzi procesorom a jeho pamäťou presúvať miliardy parametrov. Konvenčná pamäť s tým nedokáže držať krok. Úzke hrdlo nie je výpočtový výkon – je to šírka pásma pamäte, rýchlosť, akou sa dáta presúvajú do a z čipu. Pamäť s vysokou šírkou pásma, alebo HBM, bola skonštruovaná špeciálne na prekonanie tohto úzkeho hrdla a stala sa najvyhľadávanejšou súčasťou hardvérového balíka AI.

Ukladanie čipov ako mrakodrap

Tradičná DRAM rozkladá pamäťové čipy vedľa seba na doske plošných spojov, spojené dlhými cestami, ktoré obmedzujú rýchlosť a plytvajú energiou. HBM zaujíma radikálne odlišný prístup: vertikálne ukladá viacero DRAM čipov, ako poschodia v mrakodrape, a spája ich do jedného kompaktného balíka.

Moderný HBM stack môže obsahovať osem alebo dokonca dvanásť vrstiev DRAM. Každá vrstva je spojená s vrstvami nad a pod ňou tisíckami priechodných kremíkových prepojení (TSV) – mikroskopických otvorov vyplnených meďou, vyvŕtaných priamo cez kremík. Tieto TSV prenášajú dáta vertikálne namiesto horizontálne, čím sa skracuje vzdialenosť, ktorú musia signály prejsť, a dramaticky sa znižuje spotreba energie.

Celý stack sedí na kremíkovom interposeri, tenkej doštičke, ktorá funguje ako vysokorýchlostná diaľnica spájajúca pamäť s GPU alebo akcelerátorom hneď vedľa. Pretože dátová cesta má dĺžku milimetre namiesto centimetrov, HBM dosahuje šírku pásma, ktorá by bola s konvenčnými návrhmi fyzicky nemožná.

Čísla, na ktorých záleží

Každý HBM stack obsahuje viacero nezávislých kanálov pracujúcich paralelne. Súčasná generácia, HBM3E, poskytuje približne 1,2 terabajtov za sekundu šírky pásma na stack s kapacitou až 36 GB. Nasledujúca generácia, HBM4, zdvojnásobuje šírku rozhrania z 1 024 bitov na 2 048 bitov a posúva šírku pásma nad 2 TB/s na stack – čo stačí na napájanie najväčších AI modelov počas tréningu aj inferencie.

Pre kontext, jeden HBM4 stack presúva dáta približne 16-krát rýchlejšie ako najrýchlejší DDR5 modul, pričom spotrebuje výrazne menej energie na prenesený bit. GPU NVIDIA Blackwell spárujú viacero HBM3E stackov pre kombinovanú šírku pásma presahujúcu 8 TB/s na čip.

Prečo je výroba taká náročná

Výroba HBM patrí medzi najťažšie úlohy vo výrobe polovodičov. Každý TSV musí byť leptaný, vystlaný a vyplnený meďou s presnosťou pod mikrometer v každej vrstve. Ako stacky rastú, tolerancie zarovnania sa sprísňujú a výťažnosť klesá. Jediné chybné prepojenie v dvanásťvrstvovom stacku môže znehodnotiť celú jednotku.

Iba tri spoločnosti na svete sériovo vyrábajú HBM: SK Hynix, Samsung a Micron. Podľa Counterpoint Research v súčasnosti dominuje SK Hynix s približne 57 percentami celosvetových dodávok HBM, nasledovaný spoločnosťou Samsung s približne 35 percentami a spoločnosťou Micron s približne 11 percentami. Všetky tri spoločnosti majú vypredanú celú svoju výrobnú kapacitu do konca roka.

Pamäťová stena a budúcnosť AI

Inžinieri nazývajú rastúcu medzeru medzi rýchlosťou procesora a rýchlosťou pamäte „pamäťovou stenou“. Ako sa modely AI zväčšujú z miliárd na bilióny parametrov, stena sa zvyšuje. HBM je primárny nástroj odvetvia na jej prekonávanie.

Banka Bank of America odhaduje, že trh s HBM dosiahne 54,6 miliardy dolárov v roku 2026, čo je 58-percentný skok oproti predchádzajúcemu roku, pričom prognózy smerujú k 100 miliardám dolárov do roku 2028. Trajektória technológie odráža vlastný explozívny rast AI: každá nová generácia akcelerátora vyžaduje viac stackov, viac vrstiev a väčšiu šírku pásma.

HBM nezostane jediným riešením navždy – vedci skúmajú alternatívy, ako sú výpočty v pamäti a optické prepojenia – ale v dohľadnej budúcnosti zostanú tieto malé veže naskladaného kremíka úzkym hrdlom, ktoré určuje, ako rýchlo môže umelá inteligencia myslieť.