← Fogalomtár
Fogalom
Attention (figyelem-mechanizmus)
A Transformer belső logikája, amely eldönti, hogy egy új szó generálásakor a kontextus mely részei számítanak a legjobban. Emiatt tud a modell egy mondat végéről visszautalni annak elejére.
Analógia
Mint amikor egy szövegértési feladatnál aláhúzod a kulcsszavakat, és azok alapján értelmezed az egész bekezdést.
Miért fontos?
Ez magyarázza, hogyan tud az AI hosszabb szövegekben összefüggéseket követni, utalásokat felismerni és relevánsabb választ adni. Nem-fejlesztőként ez segít megérteni, miért romlik a teljesítmény rossz vagy túl hosszú kontextusnál.