Az NLP (Natural Language Processing, természetes nyelvfeldolgozás) bemutató kezdőknek ideális terep, mert látványos feladatokon keresztül mutatja meg, hogyan értik meg a gépek az emberi nyelvet. Az alábbi öt projekt végigvezet a legfontosabb területeken, a tokenizálástól a gépi fordításig.
A természetes nyelvfeldolgozás
A nyelvfeldolgozás különleges terület, mert elsőre felfoghatatlan, hogyan lehet egy számítógépet megtanítani arra, hogy szöveget értelmezzen. A projektalapú tanulás pontosan erre jó. Az öt bemutatott feladat egymásra épül, és jól, könnyen érthetően mutatja be, az NLP világának fő részeit.
1. Tokenizálás megépítése alapoktól
A tokenizálás az NLP legelső lépése. A BERT (Bidirectional Encoder Representations from Transformers, kétirányú transzformer alapú nyelvi modell) a szavakat kisebb részekre bontja, hogy a ritka vagy elgépeléses formák is értelmezhetők legyenek.
A GPT (Generative Pre-trained Transformer, generatív előtanított transzformer modell) más módszert használ. A tokenek a BPE (Byte Pair Encoding, bájtpár-alapú kódolás) segítségével jönnek létre. Ez bájtszinten dolgozik, ezért könnyen kezeli az írásjeleket, a szóközöket és akár az emojikat is.
A tokenizálás megértése kulcsfontosságú, mert az NLP minden további része erre épül.
2. NER működés közben: nevek, dátumok és szervezetek felismerése
A NER (Named Entity Recognition, néventitás-felismerés) feladata, hogy megtalálja egy mondat fontos elemeit. Például:
„Apple rekordárat ért el idén januárban.”
- „Apple” szervezet
- „idén januárban” dátum
- „rekordár” pénzügyi entitás
Az első projektben előre tanított modellek jelennek meg, például spaCy vagy a Hugging Face (MI modellek és eszközök gyűjteménye).
A második projektben saját NER modellt építesz. Itt tanulod meg a tokenek és címkék igazítását, a BERT finomhangolását és az entitások felismerését.
3. Szövegminősítés: érzelmi elemzés BERT-tel
A szövegklasszifikáció célja a kategorizálás. A legismertebb példa a sentiment analízis (érzelmi elemzés). A BERT itt is előre tanított alapmodellként jelenik meg.
A projekt során:
- betöltesz egy címkézett adathalmazt
- tokenizálod az adatot
- finomhangolod a modellt
- kiértékeled az eredményt
A PyTorch (nyílt forráskódú mélytanulási keretrendszer) segítségével figyeled a modell tanulását és a pontosság alakulását. Ez a feladat egyben bepillantást nyújt a transzformerek működésébe is.
4. Szöveggenerálás RNN és LSTM modellekkel
A szekvenciális modellezés célja, hogy a gép folytassa a szöveget.
Az RNN (Recurrent Neural Network, ismétlődő neurális háló) képes megtanulni a mintázatokat egy szövegben.
Az LSTM (Long Short-Term Memory, hosszú rövid távú memóriaháló) tovább finomítja ezt, hosszabb távú összefüggések megtartásával.
A projektek bemutatják:
- hogyan áll össze a generált szöveg szóként vagy karakterenként
- hogyan állítja be a modell a „kreativitást” a temperature paraméterrel
- hogyan működik a beam search (több lehetséges folytatás vizsgálata párhuzamosan)
Ezek a módszerek a mai nagy nyelvi modellek alapjainak egyszerűbb változatai.
5. Gépi fordító építése Seq2Seq modellel
A gépi fordítás az NLP egyik legismertebb alkalmazása. Itt egy Seq2Seq (Sequence to Sequence, szekvenciát szekvenciává alakító modell) architektúra működik.
Két része van:
- Encoder (kódoló háló), amely értelmezi a bemeneti mondatot
- Decoder (dekódoló háló), amely létrehozza a fordítást
A modell figyelemmechanizmust is használ. Ez a figyelmi mechanizmus, amely eldönti, melyik bemeneti rész fontos egy adott pillanatban. A fordítás minőségét a BLEU (Bilingual Evaluation Understudy, gépi fordítás minőségi mérőszáma) érték jelzi.
Ez a projekt összefoglalja az NLP korábbi részeit, és összeáll belőle egy működő fordítórendszer.
