Az OpenAI bemutatta az Ultrafast szolgáltatási szintet, amely akár tizennégyszer gyorsabban futtatja a GPT-5.6 Sol modellt a normál feldolgozásnál. Az újítás egyelőre nem a ChatGPT felhasználóihoz érkezik, hanem az OpenAI API korlátozott előzetesében tesztelhető.
Mit jelent a 750 token másodpercenként?
Az Ultrafast másodpercenként akár 750 kimeneti tokent képes előállítani. A token a modell által feldolgozott vagy létrehozott szöveg egyik alapegysége, amely lehet egy teljes szó, szórész vagy írásjel.
Ez a sebesség a gyakorlatban azt jelenti, hogy egy hosszabb válasz szinte azonnal megjelenhet. A tizennégyszeres érték ugyanakkor az OpenAI által közölt felső határ, nem minden feladatnál garantált teljesítmény. A tényleges gyorsaságot a kérés összetettsége, a használt eszközök és a kapcsolódó rendszerek válaszideje is befolyásolja.
Az Ultrafast jelentősége abban áll, hogy a gyorsabb válaszért nem kell egy kisebb vagy egyszerűbb modellt választani. Ugyanaz a GPT-5.6 Sol dolgozik, csak jóval gyorsabb számítási infrastruktúrán.
A gyorsítást a Cerebras technológiája adja
Az új szolgáltatást az OpenAI és a Cerebras együttműködése teszi lehetővé. A Cerebras olyan, MI-modellek futtatására fejlesztett hardverrendszereket épít, amelyek különösen nagy sebességű következtetésre képesek. A következtetés itt azt a folyamatot jelenti, amikor a már betanított modell egy felhasználói kérésre választ készít.
A gyorsaság főként az időérzékeny vállalati feladatoknál számít. Az OpenAI példaként említi az informatikai incidensek elemzését, a valós idejű ügyfélszolgálatot, a pénzügyi kutatást, a gyanús tranzakciók felismerését és az online vásárlás közben nyújtott támogatást.
Egy rendszerleállásnál például az MI a hiba fennállása közben vizsgálhatja a naplófájlokat és a friss kódmódosításokat. Az emberi mérlegelés és a javítás jóváhagyása továbbra is a szakemberek feladata marad.
Egyelőre kevés ügyfél próbálhatja ki
A GPT-5.6 Sol Ultrafast jelenleg csak kiválasztott API-ügyfelek számára érhető el. Az OpenAI a kapacitás növekedésével fokozatosan bővítené a hozzáférést, de általános megjelenési dátumot és árazást még nem közölt.
A hétköznapi ChatGPT-használó ezért egyelőre nem talál majd Ultrafast kapcsolót a beállítások között. A fejlesztés most azoknak a cégeknek fontos, ahol néhány másodperc késlekedés már ügyfélvesztést, hosszabb leállást vagy elszalasztott döntési lehetőséget jelenthet.
