A transformer egy neurális hálózati architektúra, amely hatékonyan dolgozza fel a szöveges adatokat.
A transformer figyelemmechanizmusra épül, amely lehetővé teszi, hogy a modell egyszerre több szövegrészt is figyelembe vegyen. Ez tette lehetővé a mai nagy nyelvi modellek fejlődését.
A természetes nyelvfeldolgozásban alaptechnológiává vált.
ChatGPT és más szövegértő/generáló rendszerek működése.
Az embedding olyan technika, amely a szavakat vagy más elemeket számsorozatként (vektorként) ábrázolja, hogy a gép fel tudja dolgozni őket.
A figyelemmechanizmus lehetővé teszi, hogy a modell súlyozza, mely bemeneti elemek fontosabbak a kimenet szempontjából.
A mélytanulás a gépi tanulás egyik speciális ága, amely többrétegű neurális hálózatokat használ bonyolult problémák megoldására.
Az LLM olyan nyelvi modell, amely hatalmas mennyiségű szöveges adaton tanul, és képes összetett, emberihez hasonló szövegeket létrehozni.
Az emberi agy működését utánzó számítási modell, amely rétegekből és neuronokból áll.
A nyelvi modell egy AI-rendszer, amely a nyelv statisztikai mintázatait tanulja meg, hogy szövegeket értelmezzen vagy generáljon.
A szöveg legkisebb egysége, amelyet az AI-modell feldolgoz (lehet szó, szótag vagy karakterdarab).
A tokenizálás a szöveg feldarabolása kisebb egységekre, például szavakra, szótagokra vagy karakterekre.
