A nyelvi modell egy AI-rendszer, amely a nyelv statisztikai mintázatait tanulja meg, hogy szövegeket értelmezzen vagy generáljon.
A nyelvi modellek egyszerű változatai valószínűségeket rendelnek szavakhoz, a modern változatok pedig már összetett összefüggéseket is értelmeznek.
Az AI-alapú szövegfeldolgozás minden területének alapja.
Gépi fordítás, automatikus szövegkiegészítés.
Az embedding olyan technika, amely a szavakat vagy más elemeket számsorozatként (vektorként) ábrázolja, hogy a gép fel tudja dolgozni őket.
Az LLM olyan nyelvi modell, amely hatalmas mennyiségű szöveges adaton tanul, és képes összetett, emberihez hasonló szövegeket létrehozni.
A prompt engineering az a technika, amikor tudatosan és strukturáltan tervezünk meg promptokat, hogy az AI a lehető legjobb választ adja.
A szöveggenerálás az a folyamat, amikor egy AI-modell új, emberhez hasonló szöveget állít elő adott bemenet alapján.
Az NLP az AI egyik ága, amely az emberi nyelv számítógépes feldolgozásával foglalkozik.
A szöveg legkisebb egysége, amelyet az AI-modell feldolgoz (lehet szó, szótag vagy karakterdarab).
A tokenizálás a szöveg feldarabolása kisebb egységekre, például szavakra, szótagokra vagy karakterekre.
A transformer egy neurális hálózati architektúra, amely hatékonyan dolgozza fel a szöveges adatokat.
