Egy friss MIT-tanulmány szerint a legnagyobb és legdrágábban futtatott MI-modellek teljesítménye hamarosan egyre kisebb mértékben javul majd. Miközben a hatékonyabb algoritmusok fejlődnek, az iparág óriási összegeket költ új adatközpontokra és chipekre, de lehet, hogy mindezt nem indokolja a megtérülés.
Az MIT figyelmeztetése
A kutatók a modellek mérete és a hatékonysági fejlődés közötti összefüggéseket vizsgálták. Arra jutottak, hogy a következő 5–10 évben a hatalmas modellek előnye fokozatosan csökkenhet a kisebb, optimalizált rendszerekkel szemben. Neil Thompson, az MIT professzora szerint a mostani korszak a „minél nagyobb, annál jobb” logikára épül, de ez nem tarthat örökké.
A tanulmányt vezető kutató, Hans Gundlach hozzátette: a trend különösen a logikai, „okoskodó” modelleknél lesz látványos, mert ezeknél a működéshez szükséges számítási kapacitás (az úgynevezett inferencia) egyre drágább.
„Ha már milliárdokat költünk a tanításra, legalább annyit kellene befektetni a hatékonyabb algoritmusok fejlesztésébe is” – mondta Thompson.
Az óriások és a valóság
Az iparágban még mindig az óriásmodellek uralják a terepet. Az olyan vállalatok, mint az OpenAI, jóval előrébb tartanak, mint az egyetemi kutatólaborok, ahol töredéknyi számítási kapacitás áll rendelkezésre. Mégis, az MIT kutatói szerint a különbség idővel csökkenhet, ahogy a kisebb, hatékonyabb modellek egyre okosabb tanítási módszereket kapnak.
Az év elején a DeepSeek már megmutatta, hogy olcsóbban is lehet versenyképes modellt készíteni. Ez sokak számára kijózanító volt egy olyan iparágban, ahol az „erőből skálázás” vált a fejlődés jelszavává.
Infrastruktúra-láz és pénzügyi kockázat
A mesterséges intelligencia köré hatalmas infrastruktúra boom épült. Az amerikai technológiai óriások százmilliárd dolláros megállapodásokat kötnek adatközpontokra és chipekre, miközben Greg Brockman, az OpenAI elnöke szerint:
„a világ sokkal több számítási kapacitást igényel”
A vállalat nemrég a Broadcommal lépett partnerségre saját, testreszabott MI-chipek fejlesztésére. De egyre többen kérdőjelezik meg, hogy ez az irány fenntartható-e. Egy adatközpont költségeinek több mint fele grafikus processzorokra (GPU-kra) megy el, ezek gyorsan elavulnak, és értékük gyorsan csökken. A befektetők is óvatosabbak lettek: Jamie Dimon, a JP Morgan vezérigazgatója a múlt héten úgy fogalmazott,
„a bizonytalanságot a legtöbben még mindig alábecsülik”.
Miért jön a lejtő?
A mesterséges intelligencia fejlődése eddig egyszerű receptre épült: több adat, nagyobb modell, hosszabb tréning. Ezzel látványos eredmények születtek, egészen mostanáig. A kutatók szerint a növekedés már nem lineáris, minden újabb lépés egyre drágább és kisebb eredményt hoz.
Ezzel szemben a hatékonyabb tanítási módszerek és a célzottabb architektúrák olcsóbb, de közel hasonló teljesítményt nyújthatnak. A következő években így a hangsúly várhatóan a minőségi, nem a mennyiségi skálázásra helyeződik át.
Mi jön ezután?
A kutatók szerint az iparág három irányba léphet tovább:
- Egyensúly a nagy és a kis modellek között: a jövő rendszerei valószínűleg különböző méretű modellek együttműködésére épülnek majd.
- Algoritmikus innováció: a költségek csökkentése nemcsak új hardverrel, hanem jobb matematikával is elérhető.
- Hardverdiverzifikáció: a GPU-uralom megtörése új chipdizájnokkal, esetleg neuromorf vagy kvantumtechnológiákkal.
Ha az iparág minden forrást a jelenlegi, GPU-központú modellekre költ, könnyen elszalaszthat új, ígéretes technológiai irányokat, ugyanúgy, ahogyan a mostani MI-forradalom is az akadémiai kísérletekből nőtt ki.
A „több számítás = jobb eredmény” korszakának vége közeleg. A következő évtizedben az igazi versenyelőnyt az adja majd, ki tud többet kihozni kevesebb erőforrásból.
