Ostras qué mal. La tokenización es la forma en la que modelos como GPT-3 subdividen el texto para analizarlo. Y el número de token también es la unidad base por la que OpenAI te cobra: más tokens, más coste Pues esto introduce una desigualdad muy bestia para ciertos lenguajes…
Tokenization inequality in AI models and pricing implications
By
–
Leave a Reply