AI Dynamics

Global AI News Aggregator

About

@elliotchen100

  • Claude Memory Mechanism Analysis: Solid Engineering But Limited Architecture

    I took a look at CC's Memory mechanism, and it's nothing special.The entire memory system's core is just a single MEMORY.md file, no more than 200 lines, which gets stuffed into the context at the start of each conversation. What happens when memories accumulate?A background subprocess called AutoDream runs periodically to scan, merge, and trim, ensuring everything fits.In plain terms: the model can't remember on its own, so it uses the file system + LLM self-management to simulate memory.This solution is solid from an engineering standpoint, but has several fundamental limitations:1. Storage and retrieval depend entirely on the file system + Markdown, cannot scale to cross-project, cross-Agent scenarios; memory becomes isolated silos2. No true semantic indexing, no dynamic recall based on relevance; 200 lines is a hard ceiling3. AutoDream's consolidation is rule-driven (scanning, merging, trimming), not cognition-driven; it can deduplicate and compress, but cannot extract new insights from experience4. No forgetting curve, no memory reinforcement mechanism; memories either exist or are deleted, with no middle groundAfter working on Memory for a while, you realize the ceiling for these solutions isn't actually engineering—it's architecture. As long as the model's attention mechanism itself doesn't support efficient retrieval of large historical contexts, the application layer will always be patching.This is why we chose a different path at EverMind. The MSA (Memory Sparse Attention) we released recently does content-aware sparse routing directly at the Transformer attention layer, letting the model learn itself what to recall and what to ignore, rather than relying on external scripts to make those decisions.A's engineering prowess is undoubtedly top-tier. But this leak happens to prove: the Agent Memory problem is far from solved. [Translated from EN to English]

    → View original post on X — @elliotchen100, 2026-03-31 14:40 UTC

  • Shanda’s EverMind Team Hiring: AI Tools and Benefits Package
    Shanda’s EverMind Team Hiring: AI Tools and Benefits Package

    Recruitment post: @shanda_group's @EverMind team is hiring. See job description below. DMs always open, feel free to ask any questions. • Engineering Team Lead
    • Senior Test Development Engineer
    • Also hiring for Product Manager, DevOps, Algorithm, Agent Strategy and other positions Let me share some pros and cons Pros
    1. Location is in a separate park in Zhangjiang, quiet, few people, plenty of parking
    2. Unlimited Claude Code Opus usage
    3. All other AI tools with no limits, available upon request
    4. Free canteen with good food
    5. Company VPN is very stable, no need to figure out any workarounds for internet access
    6. Lots of benefits: transportation allowance, meal allowance, supplemental provident fund, supplemental medical insurance, employee apartments, children's school support, etc. (I had 12 days annual leave upon joining) Cons
    1. No convenience store downstairs, takes 5 minutes to walk to buy a can of soda 😅 [Translated from EN to English]

    → View original post on X — @elliotchen100, 2026-03-31 00:37 UTC

  • MSA记忆路由技术对比Google Titans的核心问题回应

    上条帖子聊了 MSA 和 Google Titans 的记忆路线对比,评论区讨论质量很高,整理一下大家最关心的 5 个问题,为了避免刷屏,统一回应一下诸位: ❶ 端到端 vs RAG 两套系统 大家对「4B 打赢 235B RAG」这个结果讨论很多。核心共识是:记忆路由和生成联合训练,比检索和生成各优化各的,架构上就赢了一层。有人说得更直接,RAG 是算力妥协下的临时方案,原生记忆才是终局。 ❷ 记忆怎么更新?怎么遗忘? 这是问得最多的。记得住只是第一步,记忆系统必须能纠错、能覆盖、能遗忘。什么都不忘,噪音就会淹没信号。这块确实是下一阶段的核心课题,我们在推进。 ❸ 能不能做更小的模型? 有人问 2B、0.5B 能跑到什么程度,比如 256k 记忆长度能不能用 256M 模型搞定。这个方向直接关系到端侧部署和成本,很有价值,也在我们的规划里。 ❹ 开源和 demo 什么时候出? 光论文就准备了 9 个月,开源和模型还在整理。快了,请再给我们一点时间。 ❺ 稀疏注意力这么多,MSA 凭什么不一样? 冷静的质疑也有:现在稀疏注意力方案多如牛毛,最终还是要数据驱动来验证。这个我同意,拍脑袋建模走不远,得靠结果说话。 记忆是 AI 的下一个基础设施,这个共识越来越清晰。接下来的硬仗在更新机制、遗忘策略和小模型适配。我们继续。 艾略特 (@elliotchen100) 10 天前我们发了 MSA, Memory Sparse Attention。 刚好,上周 Google 专门发了一篇博客,把 Titans + MIRAS 两篇论文打包,主题就叫「Helping AI have long-term memory」。 research.google/blog/titans-… 两条独立的研究路线,得出了同一个结论: AI 的记忆不能靠外挂,必须原生长在模型里。 但怎么「长」,路线完全不同。 Google 的思路是加模块。 在 Transformer 旁边接了一个 Memory MLP,用「惊讶度」指标决定什么值得记, 越意外的信息越值得存。再用自适应衰减机制学会遗忘,防止记忆爆炸。 本质上,是给模型装了一个外置海马体。短期记忆走注意力,长期记忆走 Memory MLP,两条通路并行。 MSA 的思路是改机制。 不加新模块,直接改造注意力本身。核心是一个可扩展的稀疏注意力架构,复杂度是线性的,记忆翻 10 倍,计算成本不会指数爆炸。用 document-wise RoPE 让模型天然理解「这段记忆来自哪里、什么时候产生的」。 用Memory Interleave 让散落在不同文档里的记忆碎片能被串起来做多跳推理。 最关键的一点:MSA 的记忆路由器和生成任务是端到端联合训练的。不像 RAG 的检索和生成是两个割裂的系统,优化目标互相打架。 一个是给大脑装外置硬盘,一个是让大脑自己进化出海马体。 结果呢? · 4B 参数的 MSA 模型,从 16K 扩到 1 亿 token,精度衰减不到 9% · 在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑,这是创业公司买得起的成本 往后退一步看,这件事更大的意义是: 当 Google 把积累了一年多的记忆研究拿出来做重点战略宣传的时候,这个方向就不再是少数人的赌注,而是行业共识。 RAG 是第一代记忆(外挂笔记本)。 Titans 是第二代记忆(外置硬盘)。 MSA 是第三代记忆(原生海马体)。 「记忆」是 AI 的下一个基础设施。这条路,我们会一直走下去。 未来,可能真有一种服务叫做「Memory as a servicey」。 — https://nitter.net/elliotchen100/status/2038137282444796030#m

    → View original post on X — @elliotchen100, 2026-03-30 09:04 UTC

  • MSA:让大模型原生拥有超长记忆的新方案
    MSA:让大模型原生拥有超长记忆的新方案

    10 天前我们发了 MSA, Memory Sparse Attention。 刚好,上周 Google 专门发了一篇博客,把 Titans + MIRAS 两篇论文打包,主题就叫「Helping AI have long-term memory」。 research.google/blog/titans-… 两条独立的研究路线,得出了同一个结论: AI 的记忆不能靠外挂,必须原生长在模型里。 但怎么「长」,路线完全不同。 Google 的思路是加模块。 在 Transformer 旁边接了一个 Memory MLP,用「惊讶度」指标决定什么值得记, 越意外的信息越值得存。再用自适应衰减机制学会遗忘,防止记忆爆炸。 本质上,是给模型装了一个外置海马体。短期记忆走注意力,长期记忆走 Memory MLP,两条通路并行。 MSA 的思路是改机制。 不加新模块,直接改造注意力本身。核心是一个可扩展的稀疏注意力架构,复杂度是线性的,记忆翻 10 倍,计算成本不会指数爆炸。用 document-wise RoPE 让模型天然理解「这段记忆来自哪里、什么时候产生的」。 用Memory Interleave 让散落在不同文档里的记忆碎片能被串起来做多跳推理。 最关键的一点:MSA 的记忆路由器和生成任务是端到端联合训练的。不像 RAG 的检索和生成是两个割裂的系统,优化目标互相打架。 一个是给大脑装外置硬盘,一个是让大脑自己进化出海马体。 结果呢? · 4B 参数的 MSA 模型,从 16K 扩到 1 亿 token,精度衰减不到 9% · 在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑,这是创业公司买得起的成本 往后退一步看,这件事更大的意义是: 当 Google 把积累了一年多的记忆研究拿出来做重点战略宣传的时候,这个方向就不再是少数人的赌注,而是行业共识。 RAG 是第一代记忆(外挂笔记本)。 Titans 是第二代记忆(外置硬盘)。 MSA 是第三代记忆(原生海马体)。 「记忆」是 AI 的下一个基础设施。这条路,我们会一直走下去。 未来,可能真有一种服务叫做「Memory as a servicey」。 艾略特 (@elliotchen100) 论文来了。名字叫 MSA,Memory Sparse Attention。 一句话说清楚它是什么: 让大模型原生拥有超长记忆。不是外挂检索,不是暴力扩窗口,而是把「记忆」直接长进了注意力机制里,端到端训练。 过去的方案为什么不行? RAG 的本质是「开卷考试」。模型自己不记东西,全靠现场翻笔记。翻得准不准要看检索质量,翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理,就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了,但越压越糊,长了就丢。 MSA 的思路完全不同: → 不压缩,不外挂,而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构,复杂度是线性的。记忆量翻 10 倍,计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码,让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制,让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录,而是把线索串成链。 结果呢? · 从 16K 扩到 1 亿 token,精度衰减不到 9% · 4B 参数的 MSA 模型,在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属,这是创业公司买得起的成本。 说白了,以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是,让它真正「记住」。 我们放 github 上了,算法的同学不容易,可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA — https://nitter.net/elliotchen100/status/2034479369855590660#m

    → View original post on X — @elliotchen100, 2026-03-29 06:12 UTC

  • EverMind publishes high-quality AI research paper this week

    Just a slight spoiler, @EverMind will publish another high-quality paper this week.

    → View original post on X — @elliotchen100

  • Memory Gaps in AI: Compression, Association, and Forgetting

    Well said. Compression, association, and forgetting—these three are indeed core capability gaps. In EverMemBench, we measured the cross-group accuracy dropping from 54.5% to 19.7%, which essentially means the "association" link is completely missing. I'm also optimistic about the

    → View original post on X — @elliotchen100

  • Mainstream AI Solutions Fail at Multi-Person Conversation Tasks

    You've hit the nail on the head. We tested a round of mainstream solutions in [REDACTED], and the data directly confirms this judgment. Single-round simple retrieval: accuracy 90%+, no problem. Once it involves multi-person conversations, cross-group information integration, or

    → View original post on X — @elliotchen100

  • EverMemBench: Testing Mainstream Memory Solutions for AI
    EverMemBench: Testing Mainstream Memory Solutions for AI

    A couple of days ago, I posted about the EverMemBench paper, and the response was pretty good. Today, let's chat about the most interesting finding from the paper. We tested almost all the mainstream memory solutions on the market: Mem0, Zep, MemOS, MemoBase, plus long-context

    → View original post on X — @elliotchen100