A nice deep-dive video about our recent paper, “Evolutionary Optimization of Model Merging Recipes” by @johnowhitaker
. He gives a great overview on model merging before discussing evolution and our results. Video→ https://
youtu.be/BihyfzOidDI
Paper→ https://
arxiv.org/abs/2403.13187
@sakanaailabs
-
Evolutionary Optimization of Model Merging Recipes
By
–
-
EvoVLM-JP: Advanced Japanese Vision-Language Model Demo
By
–
進化的モデルマージにより試作した日本語画像言語モデル「EvoVLM-JP」は以下からご自身の画像ですぐお試し頂けます。https://t.co/cAHls3fJ0u
— Sakana AI (@SakanaAILabs) 22 mars 2024
画像と質問文を送信するとモデルが回答します。成功例か失敗例かに関わらず、興味深い例が出来ましたらこのツイートへのリプライで是非ご共有下さい。🤗 https://t.co/VBi1iuhWZO pic.twitter.com/x5nUtPZt8t進化的モデルマージにより試作した日本語画像言語モデル「EvoVLM-JP」は以下からご自身の画像ですぐお試し頂けます。 https://
huggingface.co/spaces/SakanaA
I/EvoVLM-JP
… 画像と質問文を送信するとモデルが回答します。成功例か失敗例かに関わらず、興味深い例が出来ましたらこのツイートへのリプライで是非ご共有下さい。 -
Combining 500K Models to Train Foundation Models Efficiently
By
–
Training foundation models require enormous resources. We can overcome this by working with the vast collective intelligence of existing models. @HuggingFace has over 500k models in dozens of modalities that, in principle, can be combined to form new models with new capabilities!
-
Evolutionary Model Merge: Automating Foundation Model Development
By
–
Introducing Evolutionary Model Merge: A new approach bringing us closer to automating foundation model development. We use evolution to find great ways of combining open-source models, building new powerful foundation models with user-specified abilities!https://t.co/G0EyM7pztr pic.twitter.com/msOokvqGbR
— Sakana AI (@SakanaAILabs) 21 mars 2024Introducing Evolutionary Model Merge: A new approach bringing us closer to automating foundation model development. We use evolution to find great ways of combining open-source models, building new powerful foundation models with user-specified abilities! https://
sakana.ai/evolutionary-m
odel-merge/
… -
Sakana AI Introduces Evolutionary Model Merge Method
By
–
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。
— Sakana AI (@SakanaAILabs) 21 mars 2024
ブログ https://t.co/E4Ao87UXXi
論文 https://t.co/YtH7wEQHf1… pic.twitter.com/JcNabJukOtSakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。 ブログ https://
sakana.ai/evolutionary-m
odel-merge-jp
…
論文 https://
arxiv.org/abs/2403.13187 -
Transformers Authors Discuss AI Future with Jensen Huang
By
–
Sakana AI CTO Llion Jones (@YesThisIsLion) will be speaking with NVIDIA CEO Jensen Huang during the “Transforming AI” session at #GTC24 with all 8 authors of “Attention is All You Need” paper, to discuss the future of AI!
— Sakana AI (@SakanaAILabs) 16 mars 2024
Details→ https://t.co/SBXOKBD9MEpic.twitter.com/cx3wj0sKa7Sakana AI CTO Llion Jones (
@YesThisIsLion
) will be speaking with NVIDIA CEO Jensen Huang during the “Transforming AI” session at #GTC24 with all 8 authors of “Attention is All You Need” paper, to discuss the future of AI! Details→ http://
nvda.ws/3SPoTPn -
Internship Application Guide for AI Opportunities
By
–
You can apply for an internship. This guy wrote a guide with some advice about the initial application process: https://
x.com/imotarite99747
/imotarite99747/status/1749669996769526137
… -
Sakana AI Receives Japanese Government GPU Cluster Grant
By
–
We finally have our own GPU cluster! https://
sakana.ai/nedo-grant/ Excited announce that @SakanaAILabs is 1 of 7 institutions in Japan chosen by the Japanese government to receive the NEDO supercomputer grant, for developing foundation models to strengthen Japan’s AI ecosystem.