Nem minden arany, ami fénylik – kompromisszumok a „kis” és a nagy nyelvi modellek között

A mesterséges intelligencia gyorsan fejlődő területén a nagyméretű nyelvi modellek (LLM) és a kisebb mesterséges intelligencia modellek gyakorlati hasznossága közötti vita kimenetele jelentős következményekkel járhat a vállalkozások, és egyes iparágak számára. Mai írásunkban azt vizsgáljuk, hogy a kisebb mesterséges intelligencia-modellek jelenleg rendelkeznek-e gyakorlati előnyökkel nagyobb társaikkal szemben az ipari alkalmazás szempontjából. E tekintetben fontos a bekerülési költségek ismerete, a megbízhatóság, valamint a kisebb modellek testre szabhatósága az adott üzleti igényekhez és adatokhoz.

Költségkihatások: a nagy modellek súlyos ára

Az LLM-ek betanítása minden esetben egy összetett és költséges vállalkozás. Hogy mennyire is költséges, azt jól mutatja például az a korábbi OpenAI Dev Day-en elhangzott bejelentés, melyben a cég hírül adta, hogy a szolgáltatásaik között elérhetővé válik személyre szabott GPT-4 modellek létrehozása is. Ennek költségét a cég úgy becsülte, hogy az induló ár körülbelül 2-3 millió dollár, a modelltanítás időtatama pedig hónapokban mérhető.

Az ilyen jellegű feladatok esetében a járulékos költségek sok tényezőből tevődnek össze. Ezek között a két legfontosabb komponenst a modelltanításhoz szükséges hardveres erőforrások költsége (bérlés vagy megvásárlás), valamint a modelltanításhoz szükséges idő jelentik. Ehhez hozzáadódik a szükséges humán erőforrás is, akár a tanítóadatok előkészítéséről, akár az eredmények ellenőrzéséről, vagy a modell döntéseinek felügyeletéről van szó. A generatív modellek esetében fontos a modell paramétereinek száma is. Egy GPT-4 modell esetében például több milliárd paraméterről beszélhetünk, míg a nagy nyelvmodellek első generációját alkotó BERT modellek között van („mindössze”) 110 millió paraméteres is. Nagy vonalakban minél több a paraméter, annál több GPU egyidejű működtetése szükséges az adott modell hatékony tanításához és használatához.

Emellett az elmúlt években jelentősen növelte a költségeket a nagy kapacitású GPU-k iránti megnövekedett piaci igény, amelynek következtében ezek az eszközök gyakran drágák és nehezen hozzáférhetőek. Tény, hogy fejlődőben vannak olyan technológiai megoldások, amelyek valamelyest csökkenteni tudják a modelltanítás erőforrásigényét (pl. quantization), de ezek alkalmazása még ma is rendkívül összetett mérnöki feladat.[1]

A kulcskérdés itt az, hogy egy néhány ezer dollárból kialakítható régebbi, kisebb paraméterszámú modell mennyivel teljesít rosszabbul, mint a mai legmodernebb és legköltségesebb eszközök? Egy előrejelző alkalmazás esetében 10-20%-nyi pontosság jelentheti a különbséget a piacvezető, és a középkategóriás megoldások között, de mi a helyzet néhány százaléknyi eltérésnél? Nem is beszélve arról, hogy egy-egy modell teljesítménye sokszor csak akkor derül ki pontosan, amikor a teljes modelltanítás már lezajlott.

Szolgáltatási zavarok: a megbízhatóság kihívása

A nagyméretű nyelvi modellek, bár széleskörű képességeket kínálnak, üzemzavaroknak, szolgáltatáskieséseknek vannak kitéve. Ezek a fennakadások, különösen az OpenAI által kínált magas színvonalú szolgáltatások esetében a megbízhatósággal kapcsolatos potenciális problémákat is előtőrbe helyezik. Az LLM-ek kifinomult és hatalmas számítási infrastruktúrától való függősége növeli az ilyen szolgáltatási megszakítások kockázatát, ami befolyásolja a folyamatos ipari használatra való alkalmasságukat.

Az iparban számos helyzet van, amikor egy mesterséges intelligenciát használó alkalmazásnak 0-24-ben elérhetőnek kell lennie. Ilyenkor joggal merül fel a kérdés, hogy egy vállalat megengedheti-e magának, hogy a technológia üzemeltetését másokra bízza? Kis cégek esetében, ahol nem áll rendelkezésre a nagy, globális szolgáltatók technológiai felkészültsége és üzemeltetési tapasztalata, az ilyen infrastruktúrák kiszervezése szinte mindig helyes döntésnek bizonyul. Nagyvállalatok esetében azonban a helyzet közel sem ennyire triviális.

Testreszabhatóság: a kisebb modellek előnye

A kisebb AI-modellek egyik legfontosabb előnye a testreszabhatóságukban rejlik. A kisebb, iparágspecifikus modellek hatékonyabban taníthatók vagy finomhangolhatók konkrét üzleti alkalmazásokra. Ezáltal jobb eredményeket kínálnak, amelyek szorosan igazodnak az iparág vagy az adott vállalkozás egyedi igényeihez. Ezzel szemben a hatalmas és általános célú LLM-ek gyakran kevésbé pontos, nem specifikus kimeneteket adnak, amelyek nem feltétlenül alkalmasak teljesen a specializált alkalmazásokhoz. Persze erre is léteznek megoldások; a prompt engineering lehetőséget ad a modellek kimenetének finomítására, a RAG (Retrieval Augmented Generation) pedig kiküszöbölheti a hallucinációt azáltal, hogy a kimenetet egy saját adatbázisra támaszkodva állítja elő.

A kisebb, saját üzemeltetésű modellek megkönnyíthetik a védett adatok feletti ellenőrzést. Egyes projektek esetében egyenesen elvárás olyan modellek alkalmazása, amelyet a megrendelő maga üzemeltethet, privát hardveres környezetben. A legtöbb piacvezető modell nem kínál lehetőséget ilyen fajta telepítésre.

A kis modellek alkalmazása különösen előnyös lehet az olyan vállalkozások számára, amelyek érzékeny vagy nagyon speciális adatkészletekre támaszkodnak. Például a Google szakterület-specifikus modelljei, mint a Med-PaLM 2 és a Sec-Palm, azt mutatják, hogy a testre szabott modellek hogyan integrálhatják hatékonyan a speciális iparági tudást és adathalmazokat. Ez a testre szabhatóság kiterjed a startupokra és a kisebb vállalkozásokra is, lehetővé téve számukra, hogy a nagyobb LLM-ekhez képest viszonylag kevesebb erőforrással finomhangolják a modelleket saját igényeik szerint.

Következtetés: a kisebb, gyakorlatiasabb modellek felé történő elmozdulás

Összefoglalva, bár az OpenAI és mások által kifejlesztett nagyméretű nyelvi modellek jelentős előrelépést jelentettek az AI-képességek terén, gyakorlati alkalmazásukat az iparban jelenleg háttérbe szorítják a kisebb, speciálisabb AI-modellek. A magas költségek, a szolgáltatási kimaradások lehetősége és az LLM-ek eredendően általános jellege miatt kevésbé használhatók konkrét ipari alkalmazásokban. Ezzel szemben a kisebb modellek költséghatékonysága, megbízhatósága, valamint az egyedi üzleti igényekre és adatokra való személyre szabhatósága döntő fontosságúak, így jelenleg praktikusabb választást jelenthetnek ipari környezetben.

A technológia további fejlődésével a nagy és a kis modellek közötti egyensúly eltolódhat, elég az OpenAI nemrégiben bejelentett GPTs-nevű szolgáltatására gondolni. Ez pontosan a fentebb részletezett személyre szabhatóság terén mutat előrelépést. Összességében azonban az ideális választás egyelőre inkább helyzetfüggő, mintsem egy előre lejátszott meccs.

A cikk szerzője Üveges István, a MONTANA Tudásmenedzsment Kft. számítógépes nyelvészeti szakértője, valamint a HUN-REN Társadalomtudományi Kutatóközpont projektkutatója.

A cikk angolul ”All that Glitters ain’t Gold” – Tradeoffs between ”Small” and Large Language Models címmel a Constitutional Discourse oldalán jelent meg.