El gráfico, aunque sólo se base MMLU, es consistente con las evaluaciones en el resto de benchmarks donde Llama 3.1 alcanza a Sonnet 3.5/GPT-4o, así que las conclusiones sí me parecen validas. Respecto al open source, efectivamente, estrictamente hablando, no lo es y encajaría
OPEN SOURCE
-
Deploy Open Source LLMs as APIs with Ollama LMStudio
By
–
Prueba Ollama o LMStudio, te permite desplegar cualquier LLM open source como una API.
-
OpenAI versus Llama: Can competitors keep pace with Meta’s open model?
By
–
¿Aguantarán, OpenAI y competidores, meses sin elevar las capacidades de sus modelos mientras la Llama sigue libre? ¿Encontraremos benchmark más difíciles que diferencien las capacidades de los modelos actuales y de los que están por venir? ¿Se dejará Zuckerberg barbita para
-
Closed-Source vs Open-Weight Models Comparison
By
–
I made the closed-source vs. open-weight models figure for this moment.
-
PaliGemma Fine-tuned Model for Visual Question Answering
By
–
https://
huggingface.co/abhishek/autot
rain-paligemma-finetuned-vqa
… -
Llama 3.1 405B Launch: Open Weights, GPT-4o Comparable Performance
By
–
Llama 3.1 405B launches • Comparable to GPT-4o and Claude 3.5 Sonnet, according to the benchmarks
• The weights are publicly available
• 128k context even on the smaller models Discussion on r/ML -
Meta Releases Llama 3.1 Models to Community
By
–
We're thrilled to make these models available to the community and can't wait to see what they do with Llama 3.1!
-
Karpathy Plans Multiple Llama 3.1 Fine-tuning Projects
By
–
Yep I’d like to do many Llama 3.1 finetunes, coming up.
-
QLoRA Bug Consumes 4888GB VRAM in Llama 3 405B
By
–
One bug in bitsandbytes caused QLoRA to consume an extra *read notes* 4888 GB of VRAM. Even with QLoRA, fine-tuning Llama 3 405B on long sequence lengths ain't cheap.