Egy prompt elsőre remek eredményt adhat, majd a következő feladatnál figyelmen kívül hagyhat egy fontos szabályt. A prompt tesztelése megmutatja, hogy az utasítás többféle helyzetben is kiszámíthatóan működik-e.
A prompt tesztelése a sikerkritériumokkal kezdődik
Mielőtt kipróbálod a promptot, írd le, mitől tekinted jónak az eredményt. Az olyan elvárás, mint a legyen színvonalas vagy legyen szakmai, nehezen ellenőrizhető. Sokkal használhatóbb, ha pontos feltételeket adsz.
Egy ügyfélajánlatnál például elvárhatod, hogy a szöveg tartalmazza az árat, a szolgáltatás terjedelmét és a következő lépést. Előírhatod azt is, hogy az MI jelezze a hiányzó adatokat, és ne találjon ki határidőt vagy referenciát.
Egy prompt akkor megbízható, ha eltérő bemenetek mellett is teljesíti az előre meghatározott tartalmi, formai és biztonsági követelményeket.
Háromféle próbaesetre mindenképpen szükséged van
Az első tesztben használj tipikus, teljes bemenetet. Ez mutatja meg, hogyan működik a prompt ideális körülmények között.
A második esetből szándékosan hagyj ki egy fontos adatot. Figyeld meg, hogy az MI visszakérdez, jelzi a hiányt, vagy önállóan kiegészíti a történetet.
A harmadik bemenet tartalmazzon ellentmondást vagy kockázatos kérést. Tegyél például két különböző árat a háttéranyagba, vagy kérj olyan állítást, amelyhez nincs forrás. Egy jól megírt promptnak erre is legyen szabálya.
Az OpenAI értékelési útmutatója is tipikus, szélsőséges és szándékosan nehéz esetek használatát javasolja. Bár az útmutató fejlesztőknek készült, ugyanez a módszer kézi tesztelésnél is működik.
A hibákból kiderül, mit kell javítanod
Ha minden próba során ugyanaz a követelmény marad ki, valószínűleg túl homályos vagy rossz helyen szerepel az utasítás. Ha az MI csak hiányos bemenetnél kezd találgatni, írd le pontosan, mikor kell visszakérdeznie vagy megállnia.
Az ellentmondó forrásokból származó hibát döntési sorrenddel javíthatod. Meghatározhatod például, hogy mindig a frissebb, jóváhagyott dokumentum az irányadó, az azonos dátumú eltéréseket pedig jelezni kell.
Ugyanazt a tesztet érdemes többször lefuttatni. Az MI válaszai változhatnak, ezért egyetlen sikeres eredmény kevés információt ad a prompt következetességéről.
Másolható prompt a saját promptod teszteléséhez
Az alábbi promptot rendszeresen szeretném használni:
[Másold ide a tesztelendő promptot.]
A prompt célja:
[Írd le, milyen feladatot kell megbízhatóan elvégeznie.]
Segíts tesztelni a prompt működését.
- Fogalmazz meg legfeljebb öt konkrét sikerkritériumot.
- Készíts négy próbaesetet:
- tipikus és teljes bemenet;
- hiányos bemenet;
- egymásnak ellentmondó információk;
- szokatlan vagy határesetnek számító kérés.
- Futtasd végig a promptot mind a négy eseten.
- Táblázatban mutasd meg, melyik sikerkritérium teljesült, hol történt hiba, és mi okozhatta.
- Különítsd el a prompt hibáját a hiányos forrásanyagból vagy a feladat bizonytalanságából eredő problémától.
- A teszteredmények alapján készíts javított promptot.
Ne írj át automatikusan minden utasítást. Csak azt módosítsd, amelynek hibáját valamelyik próbaeset egyértelműen megmutatta.
Az MI által készített értékelést kezeld első ellenőrzésként. Fontos vagy rendszeresen használt promptnál te is nézd át a válaszokat, különösen a pontosságot, a forráshasználatot és az esetleges kitalált adatokat. Az Anthropic útmutatója szintén az előre rögzített, mérhető sikerkritériumokat tekinti a tesztelés alapjának.
A jól tesztelt prompt nem feltétlenül hosszabb. Pontosan ott tartalmaz részletes szabályt, ahol a próbaesetek szerint az MI hajlamos rossz döntést hozni.
