Token és kontextusablak: mennyi szöveget lát egyszerre az AI?

Mi a token?

A modell a szöveget tokenekre bontja: ezek szavak, szórészek vagy írásjelek. Az Anthropic Claude-modelljeinél angol szövegben egy token nagyjából 3,5 karakter, de az arány modellenként és nyelvenként eltér. Az API-k tokenenként számláznak, és a modell „munkamemóriáját” is tokenben mérik.

Miért „drágább” a magyar?

Magyar szövegből több token lesz, mint ugyanannak az angol fordításából. Egy 2023-as mérés szerint a ChatGPT akkori tokenizálója ugyanazt a tartalmat magyarul kb. 2,15-ször annyi tokenre bontotta, mint angolul (németül kb. 1,58-szor). Magyarul tehát ugyanaz a szöveg nagyjából kétszer annyi tokent „fogyaszt”.

• Tokenalapú díjazásnál ugyanazért a tartalomért többet fizetsz.
• A válasz lassabban készül el.
• Egy hosszú magyar dokumentum hamarabb megtölti a kontextusablakot, mint az angol változata.

Mi a kontextusablak?

A kontextusablak az a szövegmennyiség, amelyet a modell egy válasz előállításakor egyszerre lát: a rendszerutasítás, a teljes eddigi beszélgetés, a csatolt dokumentumok és maga a készülő válasz. Ami kiesik belőle, azt a modell abban a pillanatban nem veszi figyelembe.

• Hosszú beszélgetésben a korai részletek kieshetnek. Ilyenkor kezdj új beszélgetést egy rövid összefoglalóval.
• Hosszú anyag közepén lévő információt a modellek rosszabbul használják fel. A fontos utasítást tedd a kérés végére.
• Csak azt add meg, ami a feladathoz kell: kevesebb zaj, jobb válasz, és kevesebb adat kerül ki a cégből.

Gyakori kérdések