PODCAST

Seventy3

任雨山

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

technology

All Episodes

00:17:41

【第520期】SimpleMem：大语言模型智能体的高效终身记忆框架

Seventy3 ·

2026/03/03

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：SimpleMem: Efficient Lifelong Memory for LLM AgentsSummary为支持复杂环境下的长期交互，大语言模型（LLM）智能体需要具备能够管理历史经验的记忆系统。现有方法要么通过被动扩展上下文来保留完整交互历史，导致信息冗余严重；要么依赖多轮迭代推理来过滤噪声，从而带来高昂的 token 消耗。针对这一问题，本文提出了 SimpleMem，一种基于语义无损压缩（semantic lossless compression）的高效记忆框架。我们设计了一个三阶段处理流水线，以最大化信息密度与 token 利用率：语义结构化压缩（Semantic Structured Compression）：将非结构化交互内容提炼为紧凑的、多视角索引的记忆单元，提高信息组织度与可检索性。在线语义综合（Online Semantic

zh-cn

00:19:27

【第519期】Focus智能体：LLM自主上下文压缩与内存管理

Seventy3 ·

2026/03/02

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Active Context Compression: Autonomous Memory Management in LLM AgentsSummary由于“上下文膨胀”（Context Bloat）问题，大语言模型（LLM）智能体在长时程软件工程任务中面临显著挑战。随着交互历史不断增长，计算成本急剧上升，推理延迟增加，同时模型容易受到过往无关错误信息的干扰，导致推理能力下降。现有解决方案通常依赖被动的外部摘要机制，而智能体本身无法主动控制这一过程，因而限制了其自适应能力。本文提出了 Focus，一种以智能体为中心的架构设计，其灵感来源于黏菌（Physarum polycephalum）的生物探索策略。Focus Agent

zh-cn

00:17:16

【第518期】AgeMem：大语言模型智能体统一记忆管理框架

Seventy3 ·

2026/03/01

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model AgentsSummary由于上下文窗口长度有限，大语言模型（LLM）智能体在长时程推理（long-horizon reasoning）任务中面临根本性约束，因此高效的记忆管理机制至关重要。现有方法通常将长期记忆（LTM）与短期记忆（STM）作为相互独立的模块进行处理，并依赖启发式规则或外部控制器进行调度，这种分离式架构限制了系统的自适应能力与端到端优化潜力。本文提出了 Agentic Memory（AgeMem），一种将长期记忆与短期记忆管理统一纳入智能体策略内部的框架。AgeMem 将记忆操作抽象为基于工具的行动（tool-based actions），使 LLM

zh-cn

00:16:23

【第517期】Dr. Zero：无训练数据的自进化搜索智能体

Seventy3 ·

2026/02/28

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Dr. Zero: Self-Evolving Search Agents without Training DataSummary随着高质量数据日益难以获取，无数据自进化（data-free self-evolution）逐渐成为一种具有前景的新范式。该方法使大语言模型（LLMs）能够自主生成并解决复杂问题，从而提升其推理能力。然而，多轮搜索智能体在无数据自进化过程中面临显著挑战，包括问题多样性受限，以及多步推理与工具调用所带来的高额计算开销。在本研究中，我们提出了 Dr

zh-cn

00:15:08

【第516期】DroPE：移除位置嵌入实现大语言模型零样本上下文扩展

Seventy3 ·

2026/02/27

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Extending the Context of Pretrained LLMs by Dropping Their Positional EmbeddingsSummary迄今为止，要有效扩展语言模型（LM）的上下文长度，通常需要进行超出预训练序列长度范围的高成本微调。在本研究中，我们通过在训练完成后移除语言模型中的位置嵌入（Dropping the Positional Embeddings，简称 DroPE），突破了这一关键瓶颈。该方法虽简单，却建立在三个重要的理论与实证观察之上。首先，位置嵌入（Positional Embeddings,

zh-cn

00:19:47

【第515期】Meta_AI看视频学会通用动作

Seventy3 ·

2026/02/26

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Learning Latent Action World Models In The WildSummary量子计算的兴起对区块链系统的安全性构成了严峻挑战。作为数字签名、消息加密和哈希函数基础的传统密码算法，在量子计算机强大的计算能力面前逐渐显现出脆弱性。本文对向抗量子区块链过渡所涉及的风险进行了系统性评估，全面分析了针对区块链关键组成部分的潜在威胁，包括网络层、矿池、交易验证机制、智能合约以及用户钱包。通过深入阐释向抗量子算法迁移过程中所固有的复杂技术挑战与战略考量，论文评估了相关风险，并重点指出在采用抗量子密码技术加固区块链组件时所面临的现实障碍。为实现从经典密码体系向抗量子密码体系的平稳演进，本文提出了一种混合迁移策略，以降低过渡期的系统性风险。研究还将分析扩展至多个主流区块链平台，如比特币、以太坊、瑞波币、莱特币以及 Zcash，评估其易受攻击的关键组件、潜在影响以及相关的 STRIDE

zh-cn

00:16:26

【第514期】量子时代区块链安全威胁与抗量子迁移策略

Seventy3 ·

2026/02/25

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Blockchain Security Risk Assessment in Quantum Era, Migration Strategies and Proactive

zh-cn

00:18:41

【第513期】TariScript：为Mimblewimble引入动态脚本

Seventy3 ·

2026/02/24

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：TariScript: Bringing dynamic scripting to MimblewimbleSummaryMimblewimble 是一种在隐私性与可扩展性方面表现优良的加密货币协议。但其一个权衡在于：交易需要发送方与接收方之间进行交互式协作。TariScript 被提出为对 Mimblewimble 的一种扩展，为该协议增加了脚本（scripting）能力。本文阐述了 TariScript 的理论基础，并介绍了为确保其安全性所需的协议修改。同时，文中还简要讨论了 TariScript 所涉及的权衡以及其潜在应用场景。原文链接：https://www.tari.com/assets/updates/docs/tariscript.pdf

zh-cn

00:17:36

【第512期】Mimblewimble：一种可扩展且隐私的区块链支付系统方案

Seventy3 ·

2026/02/23

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：MimblewimbleSummary2016 年 8 月 2 日凌晨约 04:30（UTC），一位使用“Tom Elvis Jedusor”这一化名的匿名人士登录了一个比特币研究 IRC 频道，发布了一份托管在 Tor 隐藏服务上的文档 [Jed16]，随后立即退出。该文档题为《Mimblewimble》，描述了一种区块链方案，其交易构造方式与比特币截然不同，支持交易的非交互式合并与 cut-through 机制、机密交易（confidential transactions），以及在无需新用户验证任何单个币完整历史的情况下，对当前链状态（chainstate）进行完整验证。然而，尽管该论文对核心思想的阐述相当详细，但并未给出安全性论证，甚至还包含一个错误。本文的目的在于对原始思想进行精确定义，并补充作者提出的进一步扩展性改进。具体而言，Mimblewimble

zh-cn

00:20:20

【第511期】深度增量学习：广义残差连接与几何变换映射

Seventy3 ·

2026/02/22

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Deep Delta LearningSummary深度残差网络的有效性依赖于恒等映射的捷径连接（identity shortcut connection）。尽管这种机制缓解了梯度消失问题，但其对特征变换施加了严格的加性归纳偏置（strictly additive inductive bias），从而限制了网络对复杂隐状态转移的建模能力。在本文中，我们提出了 Deep Delta Learning（DDL），将原本固定的恒等映射捷径推广为一个可学习的、依赖状态的线性算子。该算子被称为 Delta Operator，其形式为单位矩阵的秩 1 扰动：A(X)=I−β(X)k(X)k(X)⊤其中，k(X) 是一个单位方向向量，β(X)β(X) 是一个标量门控参数。我们通过谱分析（spectral analysis）表明，β(X)β(X) 可以在以下三种情形之间连续插值：

zh-cn

00:14:00

【第510期】研究计划生成模型的微调与跨领域评估

Seventy3 ·

2026/02/21

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Training AI Co-Scientists Using Rubric RewardsSummaryAI 协作科学家（AI co-scientists）正逐渐成为辅助人类研究者实现科研目标的重要工具。这类系统的一个关键能力，是在给定研究目标与约束条件的情况下生成可行的研究计划。这些计划既可用于研究者头脑风暴，也可在进一步完善后付诸实施。然而，目前的语言模型在生成同时满足所有显性约束与隐含要求的研究计划方面仍存在明显不足。在本研究中，我们探索如何利用海量已有科研论文语料，训练语言模型生成更高质量的研究计划。我们通过自动化方法，从多个领域的论文中提取研究目标以及针对特定目标的评分细则（goal-specific grading

zh-cn

00:15:25

【第509期】GDPO：多奖励强化学习的解耦归一化策略优化

Seventy3 ·

2026/02/20

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL OptimizationSummary随着语言模型能力的不断提升，用户不仅期望其提供准确的回答，还希望其行为能够在多种场景下符合多样化的人类偏好。为实现这一目标，强化学习（RL）流程开始引入多个奖励信号，每个奖励分别刻画一种不同的偏好，以引导模型朝着期望行为优化。然而，近期研究在多奖励设定下默认采用 Group Relative Policy Optimization（GRPO），却未对其适用性进行充分检验。本文表明，直接在多奖励场景中应用 GRPO，对不同 rollout 奖励组合进行归一化时，会导致这些组合坍缩为相同的优势值（advantage

zh-cn

00:16:05

【第508期】SAGA：科学发现中的动态目标演化自主智能体

Seventy3 ·

2026/02/19

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。如果你有自己的论文要解读，或者推荐论文，请留言。今天的主题是：Accelerating Scientific Discovery with Autonomous Goal-evolving AgentsSummary近年来，人们对开发能够拓展科学发现边界的智能体产生了前所未有的兴趣，这类智能体主要通过优化科学家所设定的定量目标函数来开展工作。然而，对于科学中的重大挑战而言，这些目标函数仅仅是不完美的代理指标。我们认为，实现目标函数设计的自动化，是科学发现智能体的一个核心但尚未满足的关键需求。在本研究中，我们提出了科学自主目标进化智能体（Scientific Autonomous Goal-evolving Agent，SAGA）以应对这一挑战。SAGA

zh-cn

00:18:44

【第507期】mHC：流形约束超连接的大规模稳定训练

Seventy3 ·

2026/02/18

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：mHC: Manifold-Constrained Hyper-ConnectionsSummary近年来，以 Hyper-Connections（HC）为代表的研究，通过扩展残差流的宽度并多样化连接模式，对过去十年中广泛采用的残差连接范式进行了拓展。尽管这种多样化带来了显著的性能提升，但它从根本上破坏了残差连接所固有的恒等映射（identity mapping）属性，从而导致严重的训练不稳定性和可扩展性受限，并且还引入了显著的内存访问开销。为了解决这些问题，我们提出了流形约束的 Hyper-Connections（Manifold-Constrained Hyper-Connections，mHC），这是一种通用框架：通过将 HC 的残差连接空间投影到特定流形上，以恢复恒等映射属性；同时结合严格的系统级优化，以确保整体效率。大量实证实验表明，mHC 能够有效支持大规模训练，在带来可观性能提升的同时，展现出更优的可扩展性。我们期待 mHC

zh-cn

00:14:14

【第506期】深度序列模型中的几何记忆谜题

Seventy3 ·

2026/02/17

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Deep sequence models tend to memorize geometrically; it is unclear why.Summary人们通常认为，深度序列模型主要以联想记忆（associative memory）的形式存储原子事实，即对共同出现实体的暴力式查找。我们识别出了一种截然不同的原子事实存储形式，并将其称为几何记忆（geometric memory）。在这种机制下，模型合成了能够编码所有实体之间全局新关系的嵌入表示，甚至包括在训练过程中从未共同出现的实体对。这种存储方式极具威力：例如，我们展示了它如何将一个涉及 ℓ

zh-cn

00:16:14

【第505期】TTT-E2E：长文本建模的端到端测试时训练模型

Seventy3 ·

2026/02/16

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：End-to-End Test-Time Training for Long ContextSummary我们将长上下文语言建模表述为一个持续学习（continual learning）问题，而非一个架构设计问题。在这一表述下，我们仅使用一种标准架构——带有滑动窗口注意力的 Transformer。然而，模型在测试阶段会通过对给定上下文进行下一词预测而持续学习，将其读取到的上下文压缩并写入模型权重中。此外，我们在训练阶段通过元学习（meta-learning）来改进模型在测试时进行学习的初始化。总体而言，我们的方法是一种测试时训练（Test-Time Training，TTT）形式，并且在测试阶段（通过下一词预测）和训练阶段（通过元学习）均实现了端到端（End-to-End，E2E），这与以往的 TTT 方法形成对比。我们开展了大量实验，重点分析其尺度扩展特性（scaling properties）。具体而言，对于使用 164B tokens

zh-cn

00:20:21

【第504期】Engram：大语言模型条件存储与扩展查表机制

Seventy3 ·

2026/02/15

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language ModelsSummary尽管混合专家模型（Mixture-of-Experts，MoE）通过条件计算来扩展模型容量，Transformer 本身却缺乏用于知识查找的原生机制，只能通过计算来低效地“模拟”检索。为了解决这一问题，我们引入了条件记忆（conditional memory），作为一种互补的稀疏性维度，并通过 Engram 模块将其具体化。Engram 对经典的 N-gram 嵌入进行了现代化改造，实现了 O(1) 时间复杂度的查找。通过形式化稀疏性分配（Sparsity Allocation）问题，我们发现了一条 U 形缩放定律，用于优化**神经计算（MoE）与静态记忆（Engram）之间的权衡。在该定律的指导下，我们将 Engram 扩展至 270

zh-cn

00:15:27

【第503期】突破最短路径Dijkstra 算法的算法研究

Seventy3 ·

2026/02/14

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Breaking the Sorting Barrier for Directed Single-Source Shortest PathsSummary我们提出了一种确定性算法，在**比较–加法模型（comparison-addition model）下，用于求解带有实数非负边权的有向图单源最短路径（SSSP）**问题，其时间复杂度为O⁣(mlog⁡2/3n)。这是首个在稀疏图上打破 Dijkstra 算法 O(m+nlog⁡n) 时间复杂度界限的结果，表明 Dijkstra 算法并非 SSSP 问题的最优算法。原文链接：https://arxiv.org/abs/2504.17033

zh-cn

00:16:51

【第502期】Polymarket无风险套利

Seventy3 ·

2026/02/13

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Unravelling the Probabilistic Forest: Arbitrage in Prediction MarketsSummaryPolymarket 是一个预测市场平台，用户可以通过交易与特定结果挂钩的份额来对未来事件进行投机，这些结果被称为条件（conditions）。每个市场都对应一组一个或多个这样的条件。为了确保市场能够正确结算，条件集合必须是完备的——即整体上涵盖所有可能结果——并且是互斥的——即最终只能有一个条件被判定为真。因此，所有相关结果的价格之和应当等于 1 美元，代表任一结果发生的总概率为 1。尽管有这样的设计，Polymarket 仍然存在相关资产被错误定价的情况，使得某一确定结果可以以低于（或高于）1 美元的价格被买入（或卖出），从而保证获利。这种现象被称为套利（arbitrage），可能使具备一定复杂策略能力的参与者利用这些不一致性牟利。在本文中，我们基于 Polymarket

zh-cn

00:16:03

【第501期】基于可验证奖励强化学习的未来事件预测

Seventy3 ·

2026/02/12

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Outcome-based Reinforcement Learning to Predict the FutureSummary带有可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）已被证明是一种有效方法，可提升大语言模型在编程和数学等领域中的推理能力。在本文中，我们将 RLVR 方法应用于现实世界未来事件的预测这一任务——由于结果高度噪声化且存在显著延迟，这对强化学习而言尤具挑战性。我们使用了一个新构建的数据集，其中包含来自预测市场的最新问题以及与之相关的新闻标题。实验表明，一个相对紧凑的（140 亿参数）推理模型，经过训练后，其预测准确率可以达到甚至超过 o1 等前沿模型，同时在概率校准方面有显著提升。该模型的性能在实践中也具有现实意义：在一项 Polymarket 的交易仿真中，我们估计该模型在测试集所有问题上的下注将带来超过 10%

zh-cn

565 results

Seventy3

All Episodes

Similar Podcasts

Lead With AI

Tamara Nall

Linux in the Ham Shack

Black Sparrow Media

Data Engineering Podcast

Tobias Macey

Eye On A.I.

Craig S. Smith

Reflections

Livewire Labs