2. Emergence is a phenomenon where large language models gain abilities that are not present in smaller language models. An example of an emergent ability is doing complex math questions.
LLMS
-
Scaling Laws: Model Size, Data, and Compute for LM Improvement
By
–
Key takeaways: 1. Scaling involves increasing model size, data, and compute. Scaling is challenging (cost, infra, etc), but important, since "scaling laws" tell us that scaling predictably makes LMs better.
-
Three Ideas Driving the LLM Revolution: Scaling, Emergence, and Reasoning
By
–
I gave an invited lecture at New York University for @hhexiy
's class! I covered three ideas driving the LLM revolution: scaling, emergence, and reasoning. I tried to frame them in a way that reveals why large LMs are special in the history of AI. Slides: -
Bloom language model could have pushed further
By
–
complètement d'accord, il aurait pu utiliser bloom pour pousser un peu 🙂
-
GPT-3.5 versus GPT-4: Notable Performance Differences
By
–
et là par contre nette différence gpt3.5 vs gpt4
-
Context matters: Distinguishing GPT-4 from GPT-3.5 models
By
–
yes, pour ça que difficile de savoir si c'est gpt4 ou 3.5 sur du texte si court, par contre lorsqu'on oriente son contexte 😉
-
Efficient LLM Training with Sparsity and Dataflow Techniques
By
–
TECHNICAL RESEARCH PAPER: Training Large Language Models Efficiently with Sparsity and Dataflow This paper demonstrates an end-to-end training flow on a LLM – 13 billion GPT – using sparsity and dataflow. @arxiv
: https://
arxiv.org/abs/2304.05511
PDF: https://
arxiv.org/pdf/2304.05511
.pdf
… #ml #llm -
ChatGPT Progress and Timeline for Human-Level AI
By
–
Les progrès de #ChatGPT sont foudroyants Selon vous l’Intelligence Artificielle dépassera l’intelligence humaine vers quelle année ?
-
Temperature Parameter in AI Models: Deterministic vs Creative
By
–
Il faut savoir qu'il n'y a pas qu'une seule réponse unique. il y a un paramètre qui n'apparait pas dans chatgpt c'est la température. 0 c'est déterministe, 1 c'est créatif. en gros soit une réponse, soit un random.
-
Distinguishing GPT-4 from GPT-3: Reasoning and LLM Integration
By
–
difficile de savoir si c'est gpt4 ou gpt3 sur ce genre de question. par contre sur des "raisonnements", on voit plus facilement la différence. Mais bientôt lorsque ce sera connecté aux autres LLM, ca va être très très compliqué, et c'est déjà là…