Tu parles de tokenizer j’entraîne un tokenizer sur mon model. GPT2 est un modèle décodeurs only c’est que je vais. J’entraîne dans l’esprit un meme model que gpt2. Pour entraîner gpt2 ils faut plusieurs dizaines de milliers de dollars parce qu’il faut gérer des centaines de