PODCAST

Seventy3

任雨山

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

technology

All Episodes

00:16:14

【第505期】TTT-E2E：长文本建模的端到端测试时训练模型

Seventy3 ·

2026/02/16

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：End-to-End Test-Time Training for Long ContextSummary我们将长上下文语言建模表述为一个持续学习（continual learning）问题，而非一个架构设计问题。在这一表述下，我们仅使用一种标准架构——带有滑动窗口注意力的 Transformer。然而，模型在测试阶段会通过对给定上下文进行下一词预测而持续学习，将其读取到的上下文压缩并写入模型权重中。此外，我们在训练阶段通过元学习（meta-learning）来改进模型在测试时进行学习的初始化。总体而言，我们的方法是一种测试时训练（Test-Time Training，TTT）形式，并且在测试阶段（通过下一词预测）和训练阶段（通过元学习）均实现了端到端（End-to-End，E2E），这与以往的 TTT 方法形成对比。我们开展了大量实验，重点分析其尺度扩展特性（scaling properties）。具体而言，对于使用 164B tokens

zh-cn

00:20:21

【第504期】Engram：大语言模型条件存储与扩展查表机制

Seventy3 ·

2026/02/15

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language ModelsSummary尽管混合专家模型（Mixture-of-Experts，MoE）通过条件计算来扩展模型容量，Transformer 本身却缺乏用于知识查找的原生机制，只能通过计算来低效地“模拟”检索。为了解决这一问题，我们引入了条件记忆（conditional memory），作为一种互补的稀疏性维度，并通过 Engram 模块将其具体化。Engram 对经典的 N-gram 嵌入进行了现代化改造，实现了 O(1) 时间复杂度的查找。通过形式化稀疏性分配（Sparsity Allocation）问题，我们发现了一条 U 形缩放定律，用于优化**神经计算（MoE）与静态记忆（Engram）之间的权衡。在该定律的指导下，我们将 Engram 扩展至 270

zh-cn

00:15:27

【第503期】突破最短路径Dijkstra 算法的算法研究

Seventy3 ·

2026/02/14

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Breaking the Sorting Barrier for Directed Single-Source Shortest PathsSummary我们提出了一种确定性算法，在**比较–加法模型（comparison-addition model）下，用于求解带有实数非负边权的有向图单源最短路径（SSSP）**问题，其时间复杂度为O⁣(mlog⁡2/3n)。这是首个在稀疏图上打破 Dijkstra 算法 O(m+nlog⁡n) 时间复杂度界限的结果，表明 Dijkstra 算法并非 SSSP 问题的最优算法。原文链接：https://arxiv.org/abs/2504.17033

zh-cn

00:16:51

【第502期】Polymarket无风险套利

Seventy3 ·

2026/02/13

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Unravelling the Probabilistic Forest: Arbitrage in Prediction MarketsSummaryPolymarket 是一个预测市场平台，用户可以通过交易与特定结果挂钩的份额来对未来事件进行投机，这些结果被称为条件（conditions）。每个市场都对应一组一个或多个这样的条件。为了确保市场能够正确结算，条件集合必须是完备的——即整体上涵盖所有可能结果——并且是互斥的——即最终只能有一个条件被判定为真。因此，所有相关结果的价格之和应当等于 1 美元，代表任一结果发生的总概率为 1。尽管有这样的设计，Polymarket 仍然存在相关资产被错误定价的情况，使得某一确定结果可以以低于（或高于）1 美元的价格被买入（或卖出），从而保证获利。这种现象被称为套利（arbitrage），可能使具备一定复杂策略能力的参与者利用这些不一致性牟利。在本文中，我们基于 Polymarket

zh-cn

00:16:03

【第501期】基于可验证奖励强化学习的未来事件预测

Seventy3 ·

2026/02/12

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Outcome-based Reinforcement Learning to Predict the FutureSummary带有可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）已被证明是一种有效方法，可提升大语言模型在编程和数学等领域中的推理能力。在本文中，我们将 RLVR 方法应用于现实世界未来事件的预测这一任务——由于结果高度噪声化且存在显著延迟，这对强化学习而言尤具挑战性。我们使用了一个新构建的数据集，其中包含来自预测市场的最新问题以及与之相关的新闻标题。实验表明，一个相对紧凑的（140 亿参数）推理模型，经过训练后，其预测准确率可以达到甚至超过 o1 等前沿模型，同时在概率校准方面有显著提升。该模型的性能在实践中也具有现实意义：在一项 Polymarket 的交易仿真中，我们估计该模型在测试集所有问题上的下注将带来超过 10%

zh-cn

00:14:59

【第500期】平衡工作证明：多重哈希关联挖矿理论

Seventy3 ·

2026/02/11

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Proof of Balanced Work: The Theory of Mining Hash ProductsSummary我们提出了一种新的方法，用于将不同的 PoW（工作量证明）挖矿算法以乘法方式组合成一种新的、类似 PoW 的挖矿算法，使得各个单独算法的算力提升都会对组合后的最终算力产生影响。这意味着，要实现高效挖矿，所有被组合的算法都必须以一种均衡且高效的方式同时进行挖掘。因此，我们提出的方法可以作为一种新工具，用于针对特定硬件需求精心设计新的挖矿算法，并提升对 ASIC 的抗性。例如，将 CPU 算法与 GPU 算法进行组合，就会要求矿工必须同时使用 CPU 和 GPU 硬件，才能实现高效挖矿。原文链接：https://raw.githubusercontent.com/CoinFuMasterShifu/ProofOfBalancedWork/main/PoBW.pdf

zh-cn

00:16:58

【第499期】ZAMA：可编程自举助力深层神经网络全同态推理

Seventy3 ·

2026/02/10

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Programmable Bootstrapping Enables Eﬃcient Homomorphic Inference of Deep Neural NetworksSummary在许多情况下，机器学习与隐私常被认为是相互矛盾的，尤其当所涉及的数据具有敏感性时，隐私问题显得尤为突出。本文研究的是深度神经网络的隐私保护推理问题。我们报告了基于一个新型库的初步实验结果，该库实现了 TFHE 全同态加密方案的一种变体。其核心关键技术是可编程自举（programmable bootstrapping），该技术能够在可控噪声水平下，对密文上的任意函数进行同态求值。我们的实验结果首次表明，深度神经网络已经进入全同态加密可实际支持的范围。尤为重要的是，与以往相关工作不同，我们的框架并不需要对模型进行重新训练。原文链接：https://whitepaper.zama.org

zh-cn

00:18:42

【第498期】CryptoNote v2.0 - Monero 白皮书

Seventy3 ·

2026/02/09

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：CryptoNote v2.0 -- monero whitepaperSummary“比特币”（Bitcoin）[1]

zh-cn

00:17:14

【第497期】Tornado Cash：隐私解决方案白皮书

Seventy3 ·

2026/02/08

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Tornado Cash Privacy Solution Version 1.4SummaryTornado.Cash 实现了一种以太坊上的零知识隐私解决方案：这是一个智能合约，可接收以太币交易（未来也将支持 ERC-20 代币），使得之后可以在不引用原始交易的情况下提取相应金额。协议说明该协议具有以下功能：插入/存款（Deposit）：将资金存入智能合约。该操作可通过一笔交易完成，存入固定数量（记为 N）的以太币。该 N ETH 的凭证被称为一个 coin。移除/提现（Withdraw）：从智能合约中提取资金可以通过以下两种方式完成：N ETH 通过中继者（Relayer）提现，其中 f ETH 作为手续费发送至中继者地址 t，其余 (N − f) ETH 发送至指定的接收方。f 和 t 的取值由发送方选择。在这种情况下，提现交易由中继者发起，并由中继者支付 Gas 费用，该费用应由 f 覆盖。N ETH

zh-cn

00:17:57

【第496期】Zerocash：基于zk-SNARKs的分散式匿名支付方案

Seventy3 ·

2026/02/07

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Zerocash: Decentralized Anonymous Payments from Bitcoin (extended version)Summary比特币是第一种得到广泛采用的数字货币。虽然支付是在化名之间进行的，但比特币无法提供强隐私保障：支付交易记录在公开的去中心化账本中，从中可以推导出大量信息。Zerocoin（Miers 等，IEEE S&P 2013）解决了部分隐私问题，通过将交易与支付来源解关联来增强隐私。然而，它仍然会暴露支付的接收方和金额，并且功能有限。本文构建了一种具有强隐私保障的完整账本型数字货币。我们的设计利用了零知识简洁非交互式知识论证（zk-SNARKs）的最新进展。我们提出并构建了去中心化匿名支付方案（Decentralized Anonymous Payment, DAP）。DAP

zh-cn

00:12:52

【第495期】Self-play SWE-RL：基于自我博弈的软件工程智能体强化学习

Seventy3 ·

2026/02/06

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Toward Training Superintelligent Software Agents through Self-Play SWE-RLSummary尽管当前基于大语言模型（LLMs）和智能体强化学习（agentic RL）的软件智能体能够提升程序员的生产力，但它们的训练数据（如 GitHub Issues 与 Pull Requests）和环境（如 pass-to-pass 与 fail-to-pass 测试）高度依赖人工知识或人工维护，这构成了迈向超级智能的根本障碍。本文提出 Self-play SWE-RL（SSR），作为面向超级智能软件智能体训练范式的第一步。该方法对数据几乎没有假设，仅需要访问带有源代码和已安装依赖的沙箱仓库，无需人工标注的 Issues 或测试用例。基于这些真实代码库，我们在**自我对弈（self-play）的设置下，通过强化学习训练单智能体

zh-cn

00:19:11

【第494期】DeepCode：开放式AI自主编程框架

Seventy3 ·

2026/02/05

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：DeepCode: Open Agentic CodingSummary近期大语言模型（LLMs）的发展催生了功能强大的编程智能体，使得代码助手有能力进化为真正的代码工程师。然而，现有方法在实现高保真文档到代码库的自动生成（例如从科学论文到代码）方面仍面临重大挑战，其根本原因在于信息过载与 LLM 上下文容量瓶颈之间的冲突。为此，本文提出 DeepCode，一个完全自主的框架，通过系统化的信息流管理从根本上解决这一问题。DeepCode 将代码库合成视为信道优化问题，通过协调四类信息操作，在有限上下文预算下最大化任务相关信号：源信息压缩（source compression）：通过蓝图蒸馏（blueprint distillation）压缩输入文档；结构化索引（structured indexing）：利用状态化代码记忆（stateful code memory）进行高效索引；条件知识注入（conditional knowledge

zh-cn

00:14:38

【第493期】迈向协同超级智能：AI与人类的协同演进

Seventy3 ·

2026/02/04

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：AI & Human Co-Improvement for Safer Co-SuperintelligenceSummary自我提升（self-improvement）目前是人工智能领域备受关注的目标，但其充满风险，而且可能需要较长时间才能真正实现。我们主张，对于人类而言，更可实现且更有价值的目标是最大化共进化（co-improvement）：即人类研究者与 AI 系统协作，共同实现共超级智能（co-superintelligence）。具体而言，这意味着专注于提升 AI 系统与人类研究者协同开展 AI 研究的能力，从创意构思到实验验证，实现人类与 AI 的联合研究。这样的合作不仅能够加速 AI 研究进程，还能通过人机共生，使 AI 与人类共同获得更安全的超级智能。将人类研究能力提升纳入闭环协作，将使我们以更快、更安全的方式迈向这一目标。原文链接：https://arxiv.org/abs/2512.05356

zh-cn

00:20:28

【第492期】智能体AI适配：智能体与工具的协同演化综述

Seventy3 ·

2026/02/03

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Adaptation of Agentic AISummary前沿的智能体 AI 系统建立在基础模型（foundation models）之上，这些模型可以被适配用于规划、推理以及与外部工具交互，从而执行日益复杂和专业化的任务。随着这些系统能力与应用范围的不断扩展，**适配（adaptation）**成为提升性能、可靠性与泛化能力的核心机制。本文将快速发展的相关研究整合为一个系统化框架，涵盖了**智能体适配（agent adaptations）与工具适配（tool adaptations）**两大方向。我们进一步将其细分为：智能体适配：**工具执行信号驱动（tool-execution-signaled）与智能体输出信号驱动（agent-output-signaled）**两类；工具适配：**与智能体无关（agent-agnostic）与智能体监督（agent-supervised）**两类。我们展示了该框架如何帮助澄清智能体 AI

zh-cn

00:16:47

【第491期】多智能体系统规模化扩展科学研究

Seventy3 ·

2026/02/02

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Towards a Science of Scaling Agent SystemsSummary智能体（Agents）——即基于大语言模型、具备推理、规划与行动能力的系统——正逐渐成为现实世界 AI 应用的主流范式。尽管其应用日益广泛，但决定智能体系统性能的基本原理仍缺乏深入研究。为此，本文系统性地推导了智能体系统的定量化扩展规律（scaling principles）。我们首先形式化定义了智能体评测（agentic evaluation），并将扩展规律刻画为智能体数量、协作结构、模型能力与任务属性之间的相互作用。我们在四个基准测试上进行了评估：Finance-Agent、BrowseComp-Plus、PlanCraft 和 Workbench。实验涵盖五种典型的智能体架构，包括单智能体（Single-Agent）以及四类多智能体系统（独立式、集中式、去中心化式和混合式），并在三类 LLM 家族上进行实例化，共构成 180

zh-cn

00:19:14

【第490期】STRATUS：基于大语言模型的多智能体自主运维系统

Seventy3 ·

2026/02/01

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：STRATUS: A Multi-agent System for Autonomous Reliability Engineering of Modern CloudsSummary在云规模系统中，故障并非常态中的例外，而是常态本身。一个分布式计算集群往往会经历数百次机器故障和数千次磁盘故障，而软件缺陷与配置错误的发生频率更高。随着云系统规模的持续扩大，对自主化、由 AI 驱动的可靠性工程的需求日益迫切，因为现有的人在环（human-in-the-loop）运维方式已难以跟上现代云环境的复杂性与规模。本文提出 STRATUS，一种基于大语言模型（LLM）的多智能体系统，用于实现云服务的自主站点可靠性工程（Site Reliability Engineering，SRE）。STRATUS 由多个具备专门职能的智能体组成（例如故障检测、故障诊断与故障缓解），并以状态机的形式进行组织，从而支持系统级的安全推理与执行约束。我们形式化定义了智能体化

zh-cn

00:15:03

【第489期】Puppeteer：基于强化学习的动态多智能体协同框架

Seventy3 ·

2026/01/31

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Multi-Agent Collaboration via Evolving OrchestrationSummary大语言模型（Large Language Models，LLMs）在多种下游任务中取得了显著成果，但其单体式（monolithic）的架构限制了在复杂问题求解场景下的可扩展性与效率。尽管近期研究开始探索基于 LLM 的多智能体协作机制，但多数方法依赖静态的组织结构，难以随着任务复杂度和智能体数量的增长进行自适应调整，从而导致协调开销上升和整体效率下降。为此，我们提出了一种 “提线木偶（puppeteer）”式的 LLM

zh-cn

00:15:48

【第488期】DeepSeek-V3.2：通过稀疏注意力和强化学习突破智能极限

Seventy3 ·

2026/01/30

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：DeepSeek-V3.2: Pushing the Frontier of Open Large Language ModelsSummary我们提出 DeepSeek-V3.2，一款在高计算效率与卓越推理能力及智能体（agent）表现之间实现良好平衡的模型。DeepSeek-V3.2 的核心技术突破主要体现在以下三个方面： DeepSeek 稀疏注意力（DeepSeek Sparse Attention，DSA）：我们提出了 DSA，一种高效的注意力机制，在长上下文场景下能够在保持模型性能的同时显著降低计算复杂度。可扩展的强化学习框架：通过构建稳健的强化学习流程并扩展后训练阶段的计算规模，DeepSeek-V3.2 的整体表现可与 GPT-5 相媲美。尤其值得注意的是，高算力版本 DeepSeek-V3.2-Speciale 不仅在整体性能上超越 GPT-5，其推理能力也达到了与 Gemini-3.0-Pro 相当的水平，并在

zh-cn

00:16:06

【第487期】EGGROLL：基于低秩学习的大规模演化策略优化

Seventy3 ·

2026/01/29

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Evolution Strategies at the HyperscaleSummary我们提出 EGGROLL（Evolution Guided General Optimization via Low-rank Learning，基于低秩学习的进化引导通用优化），一种进化策略（Evolution Strategies，ES）算法，旨在将无需反向传播的优化方法扩展到适用于拥有数十亿参数的现代大型神经网络架构和超大规模种群规模。ES 是一类强大的黑盒优化方法，能够有效处理不可微或含噪目标函数，并可通过并行化实现良好的扩展性。然而，朴素的 ES 在大规模场景下成本极高，其瓶颈主要来自生成矩阵扰动 E∈Rm×nE∈Rm×n 所需的计算与内存开销，以及为计算每个种群成员前向传播而进行的批量矩阵乘法。EGGROLL 通过生成随机矩阵 A∈Rm×rA∈Rm×r 与 B∈Rn×rB∈Rn×r（其中

zh-cn

00:17:49

【第486期】HunyuanOCR：通用端到端视觉语言模型技术报告

Seventy3 ·

2026/01/28

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：HunyuanOCR Technical ReportSummary本文提出 HunyuanOCR，一款面向 OCR 任务的商用级、开源且轻量化（10 亿参数）视觉—语言模型（Vision-Language Model，VLM）。其架构由原生视觉 Transformer（ViT）与轻量级大语言模型（LLM）组成，并通过 MLP 适配器进行连接。HunyuanOCR 展现出卓越性能，全面超越商业 API、传统 OCR 流水线以及更大规模的模型（如 Qwen3-VL-4B）。在感知类任务（文本检测与识别、文本解析）上，其性能优于当前公开方案；在语义类任务（信息抽取、图像文本翻译）上同样表现突出，并在 ICDAR 2025 DIMT 挑战赛（小模型赛道）中获得第一名。此外，HunyuanOCR 在 OCRBench 上取得了参数规模小于 30 亿的 VLM 中的最优（SOTA）成绩。HunyuanOCR 在以下三个关键方面实现了突破：

zh-cn

570 results

Seventy3

All Episodes

Similar Podcasts

Lead With AI

Tamara Nall

Linux in the Ham Shack

Black Sparrow Media

Data Engineering Podcast

Tobias Macey

Eye On A.I.

Craig S. Smith

Reflections

Livewire Labs