ça fait que 32go a télécharger le fr avec les images. C'était le cas pour THE PILE qui a servi de base à d'autre LLM comme GPT-J-6 ou GPT-neo, nlg-megatron, mais me semble pas. A moins qu'ils aient considére que ça faisait doublon et que la trad serait suffisante. Tu peux
French Language Dataset Size and LLM Training Data Deduplication
By
–