Hogyan működik az AI-modell desztilláció – és miért indít pereket

A tanár-diák trükk az olcsóbb AI mögött

Egy csúcstechnológiás mesterséges intelligencia modell betanítása több százmillió dollárba kerülhet, és több ezer speciális chipet igényelhet, amelyek hónapokig futnak. De mi lenne, ha egy kisebb, olcsóbb modell az intelligencia nagy részét az idő töredéke alatt képes lenne felszívni? Ez a tudástranszfer (knowledge distillation) ígérete – egy olyan technika, amely csendben alátámasztotta az AI legnagyobb áttöréseit, és újabban a leghevesebb jogi csatáit.

Hogyan működik a desztilláció

A koncepciót egy mérföldkőnek számító 2015-ös tanulmányban formalizálta Geoffrey Hinton, Oriol Vinyals és Jeff Dean Distilling the Knowledge in a Neural Network címmel. Az ötlet megtévesztően egyszerű: vegyünk egy nagy, erős „tanár” modellt, és használjuk annak kimeneteit egy kisebb „diák” modell betanítására.

Egy szokásos betanítási beállításban a modell kemény címkékből (hard labels) tanul – egyértelmű válaszokból, mint például „ez a kép egy macska”. De egy tanár modell valami gazdagabbat produkál: lágy címkéket (soft labels), teljes valószínűségi eloszlásokat, amelyek nemcsak a helyes választ tárják fel, hanem a modell bizalmát is az összes lehetőségben. Egy perzsa macskáról készült fotó 90% macskát, 5% kutyát, 3% rókát eredményezhet. Ezek a finom másodlagos valószínűségek hordozzák azt, amit Hinton „sötét tudásnak” (dark knowledge) nevezett – információt a kategóriák közötti kapcsolatokról, amelyet a kemény címkék egyszerűen nem tudnak közvetíteni.

A sötét tudás kinyeréséhez a kutatók megemelnek egy hőmérsékletnek (temperature) nevezett paramétert a modell softmax függvényében. A magasabb hőmérséklet lágyítja a valószínűségi eloszlást, így a finom jelek jobban láthatóvá válnak a diák számára. A betanítás befejezése után a hőmérsékletet visszaállítják a normál értékre a telepítéshez.

Miért fontos ez

A desztilláció egy gyakorlati problémát old meg: a legmodernebb AI-modellek gyakran túl nagyok és drágák ahhoz, hogy széles körben telepítsék őket. Egy több százmilliárd paraméterrel rendelkező modell nagy teljesítményű szerver hardvert igényel, és jelentős energiát fogyaszt. A desztillált modellek okostelefonokon, beágyazott eszközökön vagy szerény felhőpéldányokon is futtathatók, miközben megőrzik a tanár képességének nagy részét.

Az eredmények megdöbbentőek lehetnek. 2025 elején a Stanford és a Washingtoni Egyetem kutatói desztillációval mindössze 26 perc alatt, kevesebb mint 50 dollárért hoztak létre egy következtetési modellt számítási költségekben. A DeepSeek desztillált 7 milliárd paraméteres modellje felülmúlta a többször akkora modelleket a következtetési benchmarkokon, bizonyítva, hogy egy jól betanított diák messze felülmúlhatja a súlyát.

A tudástranszfer három fajtája

• Válasz alapú desztilláció: A diák a tanár végső kimeneti valószínűségeiből tanul – ez a leggyakoribb és legegyszerűbb megközelítés.
• Funkció alapú desztilláció: A diák utánozza a tanár köztes rétegaktivációit, megragadva, hogy a modell belsőleg hogyan reprezentálja az információt.
• Reláció alapú desztilláció: A diák a különböző adatpontok közötti kapcsolatokat tanulja meg, ahogyan azt a tanár értelmezi, megőrizve a strukturális tudást.

A jogi viták forrása

A desztilláció akkor válik vitatottá, amikor egy vállalat egy versenytárs modelljét használja tanárként. Az OpenAI szolgáltatási feltételei kifejezetten tiltják a kimeneteinek felhasználását versengő modellek fejlesztésére. 2025 elején az OpenAI azzal vádolta a kínai székhelyű DeepSeeket, hogy tudást desztillált a saját rendszereiből. 2026 februárjára mind az OpenAI, mind az Anthropic jelezte, hogy több kínai AI-cég által végzett „ipari méretű” desztillációs kampányokat észleltek, amelyek összehangolt erőfeszítéseket feltételeznek, beleértve a szkriptelt fióklétrehozást és a hatalmas prompt kinyerést.

A jogi helyzet továbbra is rendezetlen. A desztilláció önmagában nem illegális – ez egy szabványos gépi tanulási technika, amelyet egyetemi kurzusokon tanítanak. A vita középpontjában az áll, hogy hogyan szerzik meg a tanár kimeneteit: legitim kutatás útján vagy a szerződéses feltételeket sértő szisztematikus kinyerés útján. 2026 áprilisában Elon Musk a szövetségi bíróságon vallotta, hogy cége, az xAI maga is desztillációt használt az OpenAI modelljeiből a Grok chatbot fejlesztéséhez, ezt általános iparági gyakorlatként bemutatva.

Mi következik

Ahogy az AI-modellek egyre nagyobbak és drágábbak lesznek a betanításuk, a desztilláció csak még fontosabbá – és vitatottabbá – válik. A technika demokratizálja a hozzáférést a nagy teljesítményű AI-hoz, lehetővé téve a startupok és a kutatók számára, hogy milliárd dolláros költségvetés nélkül is képes rendszereket építsenek. De alapvető kérdéseket is felvet a szellemi tulajdonnal kapcsolatban egy olyan iparágban, ahol egy modell legértékesebb eszköze nem a kódja, hanem a kimeneteibe ágyazott tudás. A bíróságok, a szabályozók és maga az AI-ipar még mindig azon dolgoznak, hogy hol húzódik a határ a legitim tanulás és a jogosulatlan másolás között.