Egy jól működő promptot könnyű elrontani egy látszólag ártalmatlan módosítással. A promptnapló abban segít, hogy lásd, mit változtattál, miért nyúltál hozzá, és valóban javult-e az eredmény.
A promptok rendszerezése a javítás része
A promptnapló olyan egyszerű nyilvántartás, amely összekapcsolja a prompt egyes változatait a módosítás okával és a tesztelés eredményével. Lehet táblázat, dokumentum vagy jegyzet. A lényeg a változatok visszakövethetősége.
Az előző cikkben megmutattuk, hogyan működik a prompt tesztelése próbaesetekkel. A teszt azonban kevés, ha néhány nap múlva már nem emlékszel, melyik változatot vizsgáltad, mit javítottál benne, és milyen bemenettel kaptad a jobb eredményt.
Képzeld el, hogy rendszeresen ugyanazzal a prompttal készítesz ügyfélajánlatokat. Az első változat megfelelő szerkezetet ad. A másodikba bekerül, hogy az MI ne találjon ki árat vagy határidőt. A harmadiknál rövidebb, közvetlenebb szöveget kérsz, közben véletlenül törlöd a hiányzó adatok jelzésére vonatkozó szabályt. Az új változat gördülékenyebbnek tűnik, mégis kockázatosabb lett.
Promptnapló nélkül könnyen csak a legutolsó szöveg marad meg. A korábbi, ellenőrzött változat és a módosítás indoka eltűnik.
Egyszerre egy lényeges dolgot változtass
A prompt javításánál az egyik leggyakoribb hiba, hogy egyszerre átírjuk a szerkezetet, a hangnemet, a terjedelmet és az ellenőrzési szabályokat. Ha az eredmény jobb lesz, nem tudjuk, melyik módosítás segített. Ha rosszabb lesz, azt sem látjuk, melyik részt kell visszaállítani.
Egy tesztelési körben lehetőleg egy lényeges változtatást végezz. Például pontosítsd a kívánt kimeneti formátumot, majd futtasd le újra a korábbi próbaeseteket. A következő körben foglalkozhatsz a forráshasználattal vagy a hangnemmel.
Az MI válaszai ugyanazon bemenet mellett is eltérhetnek. Emiatt egyetlen jobb eredmény még nem igazolja, hogy az új prompt megbízhatóbb. Fontos munkafolyamatnál futtasd le többször ugyanazt a próbát, és azt figyeld, melyik változat teljesíti következetesebben a sikerkritériumokat.
Mit rögzíts a promptnaplóban?
Egy használható promptnaplóhoz nincs szükség bonyolult rendszerre. Egy egyszerű táblázatban elegendő hat adatot vezetni:
- a prompt neve és feladata;
- a verzió száma vagy dátuma;
- a módosított rész;
- a módosítás oka;
- a használt próbaesetek;
- az eredmény és a döntés.
A verziók elnevezése legyen következetes. A végleges, új vagy javított elnevezések néhány változat után használhatatlanná válnak. Sokkal tisztább a v1, v2 és v3 jelölés, rövid dátummal és egy mondatos változásleírással.
Érdemes azt is feljegyezni, melyik MI-modellt használtad. Ugyanaz a prompt eltérően működhet különböző modellekkel, és egy modellfrissítés után is változhat az eredmény. Így később el tudod különíteni a prompt módosításának hatását a modellváltás következményétől.
Az összehasonlításhoz azonos feltételek kellenek
Két promptváltozatot ugyanazokkal a bemenetekkel és sikerkritériumokkal érdemes összevetni. Ha az egyik változat teljes ügyféllevélből dolgozik, a másik pedig hiányos adatokból, az eredményekből nem lehet tisztességes következtetést levonni.
Az összehasonlítás előtt rögzítsd, mit vizsgálsz. Ilyen szempont lehet a pontosság, a teljesség, a terjedelem betartása, a hangnem, a forráshűség vagy a kitalált adatok elkerülése.
Az OpenAI promptolási útmutatója a promptokat az alkalmazáskódhoz hasonlóan kezelendő elemekként írja le, és minden módosítás után tesztek futtatását javasolja. Ehhez hétköznapi használatnál nincs szükséged fejlesztői rendszerre. Egy táblázat és néhány állandó próbaeset már elegendő ahhoz, hogy ne emlékezetből dönts.
Másolható prompt két változat összehasonlításához
Két változat ugyanahhoz a rendszeresen használt prompthoz.
A prompt feladata:
[Írd le röviden a feladatot.]
A változat:
[Másold ide az első promptot.]
B változat:
[Másold ide a módosított promptot.]
A módosítás célja:
[Írd le, milyen hibát vagy hiányosságot akartál javítani.]
Sikerkritériumok:
[Sorold fel az ellenőrizhető elvárásokat.]
Próbaesetek:
[Másold be a korábban használt tesztbemeneteket.]
Hasonlítsd össze a két promptváltozatot ugyanazokon a próbaeseteken.
Táblázatban mutasd meg:
melyik sikerkritérium hogyan teljesült;
milyen javulás figyelhető meg;
keletkezett-e új hiba vagy visszalépés;
melyik következtetés támasztható alá a teszteredményekkel.
Ne részesítsd automatikusan előnyben az újabb változatot. Ha az eredmények nem mutatnak egyértelmű javulást, javasold a korábbi verzió megtartását.
A végén készíts rövid változásnaplót, és csak akkor írj új promptváltozatot, ha a teszt konkrétan megmutatta, mit kell javítani.
A legújabb változat nem mindig a legjobb
A régi promptot addig ne töröld, amíg az új változat nem teljesítette a korábbi teszteket. Az utolsó ellenőrzött verzió legyen könnyen visszaállítható, különösen akkor, ha ajánlatokhoz, szerződés-előkészítéshez, ügyfélkommunikációhoz vagy más érzékeny feladathoz használod.
A promptnapló legnagyobb előnye nem a rend. Megakadályozza, hogy érzés alapján javíts egy működő folyamatot. Megmarad a bizonyíték arra, melyik utasítás milyen körülmények között adott használható eredményt.
