Jak funguje paměť s vysokou propustností – čip, bez kterého se umělá inteligence neobejde

Proč AI potřebuje jiný druh paměti

Pokaždé, když velký jazykový model vygeneruje větu nebo model difúze obrazu vykreslí obrázek, musí se mezi procesorem a jeho pamětí přesouvat miliardy parametrů. Konvenční paměť s tím nedokáže držet krok. Úzkým hrdlem není výpočetní výkon – je jím šířka pásma paměti, tedy rychlost, jakou data putují do a z čipu. Paměť s vysokou propustností, neboli HBM, byla navržena speciálně k překonání tohoto úzkého hrdla a stala se nejvyhledávanější komponentou v hardwarovém stacku AI.

Skládání čipů jako mrakodrap

Tradiční DRAM rozkládá paměťové čipy vedle sebe na desce plošných spojů, propojené dlouhými cestami, které omezují rychlost a plýtvají energií. HBM zaujímá radikálně odlišný přístup: skládá více čipů DRAM vertikálně, jako patra v mrakodrapu, a spojuje je do jediného kompaktního balíčku.

Moderní HBM stack může obsahovat osm nebo dokonce dvanáct vrstev DRAM. Každá vrstva je propojena s vrstvami nad a pod ní tisíci průchozími křemíkovými propojkami (TSV) – mikroskopickými otvory vyplněnými mědí, vyvrtanými přímo skrz křemík. Tyto TSV přenášejí data vertikálně namísto horizontálně, čímž se zkracuje vzdálenost, kterou musí signály urazit, a dramaticky se snižuje spotřeba energie.

Celý stack sedí na křemíkovém interposeru, tenké destičce, která funguje jako vysokorychlostní dálnice propojující paměť s GPU nebo akcelerátorem hned vedle. Protože datová cesta je dlouhá milimetry spíše než centimetry, HBM dosahuje šířky pásma, která by byla s konvenčními návrhy fyzicky nemožná.

Čísla, na kterých záleží

Každý HBM stack obsahuje několik nezávislých kanálů pracujících paralelně. Současná generace, HBM3E, poskytuje zhruba 1,2 terabajtů za sekundu šířky pásma na stack s kapacitou až 36 GB. Další generace, HBM4, zdvojnásobuje šířku rozhraní z 1 024 bitů na 2 048 bitů a posouvá šířku pásma nad 2 TB/s na stack – což stačí k napájení největších modelů AI během tréninku i inference.

Pro kontext, jeden HBM4 stack přesouvá data zhruba 16krát rychleji než nejrychlejší modul DDR5, přičemž spotřebovává výrazně méně energie na přenesený bit. GPU Blackwell od společnosti NVIDIA párují několik HBM3E stacků pro kombinovanou šířku pásma přesahující 8 TB/s na čip.

Proč je výroba tak obtížná

Výroba HBM patří mezi nejobtížnější úkoly ve výrobě polovodičů. Každý TSV musí být leptán, vystlán a vyplněn mědí s přesností pod mikrometr v každé vrstvě. Jak stacky rostou do výšky, tolerance zarovnání se zpřísňují a výtěžnost klesá. Jediná vadná propojka v dvanáctivrstvém stacku může znehodnotit celou jednotku.

Pouze tři společnosti na světě sériově vyrábějí HBM: SK Hynix, Samsung a Micron. Podle Counterpoint Research v současnosti dominuje SK Hynix s přibližně 57 procenty celosvětových dodávek HBM, následuje Samsung s přibližně 35 procenty a Micron s přibližně 11 procenty. Všichni tři vyprodali celou svou výrobní kapacitu až do konce roku.

Paměťová zeď a budoucnost AI

Inženýři nazývají rostoucí mezeru mezi rychlostí procesoru a rychlostí paměti „paměťovou zdí“. Jak se modely AI škálují z miliard na biliony parametrů, zeď se zvyšuje. HBM je primární nástroj průmyslu pro její překonávání.

Bank of America odhaduje, že trh s HBM dosáhne 54,6 miliardy dolarů v roce 2026, což je 58procentní skok oproti předchozímu roku, přičemž projekce směřují k 100 miliardám dolarů do roku 2028. Trajektorie technologie odráží vlastní explozivní růst AI: každá nová generace akcelerátoru vyžaduje více stacků, více vrstev a větší šířku pásma.

HBM nezůstane jediným řešením navždy – výzkumníci zkoumají alternativy, jako je compute-in-memory a optické propojení – ale v dohledné budoucnosti zůstanou tyto drobné věže naskládaného křemíku úzkým hrdlem, které určuje, jak rychle může umělá inteligence myslet.