PODCAST

Seventy3

任雨山

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

technology

All Episodes

00:14:58

【第253期】SECOND ME：AI-Native Memory Management

Seventy3 ·

2025/06/10

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：AI-native Memory 2.0: Second MeSummary这些来源描述了一种名为SECOND ME的AI系统，它旨在作为用户的智能、持久的外部记忆系统。通过利用大型语言模型 (LLMs)，SECOND ME能够超越传统的存储解决方案，实现对用户特定知识的结构化组织、上下文推理和自适应检索。该系统充当用户与外部世界（包括其他AI）之间的动态中介，可以自主生成符合上下文的响应、预填充信息并简化交互。论文探讨了训练和评估SECOND ME的方法，强调了利用多样化数据源、Chain-of-Thought风格的数据合成以及直接偏好优化（DPO）来提高其性能。最终目标是创建一个能够与用户协同思考、共同进化并实时理解用户认知状态的AI，从而增强人与数字生态系统的互动效率和智能化水平。原文链接：https://arxiv.org/abs/2503.08102

zh-cn

00:26:49

【第252期】Inductive Moment Matching for Generative Modeling

Seventy3 ·

2025/06/09

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Inductive Moment MatchingSummary这篇研究提出了一种名为归纳矩匹配（IMM）的新型生成模型框架，旨在解决现有扩散模型和流匹配方法在推理速度和训练稳定性之间的权衡。与需要预训练模型的蒸馏技术不同，IMM 采用单阶段训练过程，能够直接从头开始学习用于单步或少数步采样的模型。通过利用自洽插值器连接数据分布和先验分布，IMM 学习一种从任意中间时间点的分布到更接近数据分布时间点的分布的映射。核心思想是通过最小化模型在不同但相关时间点插值生成的分布之间的差异来保证分布层面的收敛。这种方法通过矩匹配实现，被证明比一致性模型等单粒子方法更稳定，并在图像生成任务中取得了最先进的结果，同时显著提高了推理速度。原文链接：https://arxiv.org/abs/2503.07565

zh-cn

00:14:49

【第251期】YOLOE：Real-Time Seeing Anything with Open Prompts

Seventy3 ·

2025/06/08

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：YOLOE: Real-Time Seeing AnythingSummary这个文档介绍了一个名为YOLOE的新型实时目标检测和分割模型。YOLOE能够在一个高效的框架内处理文本、视觉和无提示等多种开放式提示机制，实现“实时感知一切”。为了实现这一目标，论文提出了**可重参数化区域-文本对齐（RepRTA）策略来优化文本提示处理，设计了语义激活视觉提示编码器（SAVPE）来高效编码视觉提示，并引入了惰性区域-提示对比（LRPC）**策略来在没有明确提示的情况下识别物体。实验结果表明，YOLOE在效率和零样本性能上优于现有方法，并且在下游任务中也表现出良好的可迁移性。原文链接：https://arxiv.org/abs/2503.07465

zh-cn

00:23:08

【第250期】EasyControl：效率和灵活性指导的条件图像生成

Seventy3 ·

2025/06/07

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：EasyControl: Adding Efficient and Flexible Control for Diffusion TransformerSummary这份技术论文介绍了EasyControl，一个旨在提高扩散变换器（DiT）架构在条件图像生成方面的效率和灵活性的新框架。研究人员通过引入一个轻量级的条件注入LoRA模块来处理条件信号，确保与现有模型兼容并支持多条件泛化。此外，位置感知训练范式允许模型生成具有任意分辨率和长宽比的图像，同时优化计算。最后，结合因果注意力机制和KV缓存技术显著降低了推理延迟，使得EasyControl在各种图像生成任务中展现出卓越的性能。原文链接：https://arxiv.org/abs/2503.07027

zh-cn

00:18:55

【第249期】R1-Searcher: RL for Enhanced LLM Search...

Seventy3 ·

2025/06/06

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement LearningSummary这项研究介绍了一个名为 R1-Searcher 的新型框架，旨在通过强化学习提升大型语言模型（LLMs）的检索增强生成（RAG）能力。该框架采用两阶段的成果监督强化学习方法，使 LLMs 能够自主调用外部搜索系统获取知识，从而提高处理知识密集型和时效性问题的准确性，减少幻觉。不同于依赖过程奖励或蒸馏的方法，R1-Searcher 完全依赖强化学习进行训练，通过探索学习有效利用检索。实验结果表明，该方法在多跳问答任务上显著优于现有的 RAG 技术，甚至超越了一些闭源模型。此外，研究还深入分析了训练方法、数据选择和奖励设计对模型性能的影响，并展示了模型在未见过的在线搜索场景中的泛化能力。原文链接：https://arxiv.org/abs/2503.05592

zh-cn

00:13:06

【第248期】VisualThinker-R1-Zero: Multimodal Reasoning...

Seventy3 ·

2025/06/05

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：R1-Zero's "Aha Moment" in Visual Reasoning on a 2B Non-SFT ModelSummary本研究报告成功复制了 DeepSeek-R1 模型中利用强化学习实现自主推理的显著特征，即所谓的“顿悟时刻”和响应长度的增加，这次是在一个较小的多模态模型上实现。通过直接在非 SFT (监督微调) Qwen2-VL-2B 模型上应用强化学习，研究人员观察到模型在视觉推理任务中展现出自我反思和更长的响应，从而显著提高了性能。报告还探讨了在经过指令微调的模型上应用强化学习所面临的挑战，发现这往往会导致肤浅的推理模式。研究人员开源了他们的代码，以促进对多模态推理未来研究。原文链接：https://arxiv.org/abs/2503.05132

zh-cn

00:16:32

【第247期】Vision-R1：推理视觉大模型

Seventy3 ·

2025/06/04

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language ModelsSummary本研究介绍 Vision-R1，这是一种多模态大型语言模型 (MLLM)，旨在增强其推理能力，尤其是解决数学问题。该方法通过结合冷启动初始化和强化学习 (RL) 来实现这一目标。具体来说，首先构建一个高质量的多模态思维链 (CoT) 数据集，然后利用一种名为渐进思维抑制训练 (PTST) 的 RL 策略，通过分阶段放宽对推理长度的限制来克服过度思考问题。实验结果表明，Vision-R1 在多模态数学推理基准上表现出色，即使只有 7B 参数，也能达到与 70B+ 参数的强大 MLLM 相媲美的性能。原文链接：https://arxiv.org/abs/2503.06749

zh-cn

00:24:27

【第246期】用LLM做Encoder，进行机器翻译

Seventy3 ·

2025/06/03

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Beyond Decoder-only: Large Language Models Can be Good Encoders for Machine TranslationSummary这项研究探索了一种结合大型语言模型（LLMs）和神经机器翻译（NMT）的方法，旨在创建一个高效、易于优化且具有通用性的翻译系统。研究人员提出了一种名为 LaMaTE 的模型，该模型利用 LLM 作为强大的编码器，并将其与轻量级的 NMT 解码器配对。为了促进 LLM 编码器与 NMT 解码器的更好协作，研究引入了一种适配器设计，并采用了一种两阶段训练策略。此外，研究还构建了一个新的综合机器翻译基准数据集 ComMT，用于评估模型在多种翻译相关任务上的泛化能力。结果表明，LaMaTE

zh-cn

00:14:33

【第245期】固定文本长度做RAG

Seventy3 ·

2025/06/02

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：More Documents, Same Length: Isolating the Challenge of Multiple Documents in RAGSummary这份研究探究了在检索增强生成（RAG）任务中，大型语言模型（LLM）处理多文档输入的挑战，尤其是在保持总上下文长度不变的情况下。研究人员创建了特殊的数据集，通过控制文档数量但保持上下文长度固定，评估了不同LLM的表现。他们的主要发现是，增加文档数量会显著降低LLM的性能，这表明处理多个文档是一个独立于长上下文处理的挑战。这项工作强调了在构建RAG系统时，需要权衡检索到的文档数量，并建议未来研究应专注于改进LLM处理多文档信息的能力。原文链接：https://arxiv.org/abs/2503.04388

zh-cn

00:19:07

【第244期】TokenOCR：Token基本文本图像LLM

Seventy3 ·

2025/06/01

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：A Token-level Text Image Foundation Model for Document UnderstandingSummary来源描述了一种新型文本图像基础模型，称为 TokenOCR，以及利用它构建的文档理解多模态大语言模型 TokenVL。研究人员通过创建一个大规模、细粒度的标记级图像文本数据集 TokenIT 来预训练 TokenOCR，该数据集包含 2000 万图像和 18 亿标记-掩码对。TokenOCR 在文本图像相关任务中表现出色，例如文本分割、文本检索和视觉问答。实验表明，TokenVL 在各种文档理解基准测试中取得了显著的性能提升，尤其是在 OCRBench 和常用的 VQA 任务上。原文链接：https://arxiv.org/abs/2503.02304

zh-cn

00:10:42

【第243期】AppAgentX：智能手机上的Agent

Seventy3 ·

2025/05/31

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：AppAgentX: Evolving GUI Agents as Proficient Smartphone UsersSummary这些文字介绍了一款名为 AppAgentX 的新型 GUI 代理框架，旨在提高基于大型语言模型（LLM）的代理在智能手机上执行任务的效率和准确性。该框架通过记忆代理的操作历史来实现演化机制，将重复的低级操作抽象为高效的高级快捷方式。实验结果表明，与现有方法相比，AppAgentX 在任务完成时间、所需步骤以及令牌消耗方面均有显著提升，特别是在处理复杂任务时表现出色。原文链接：https://arxiv.org/abs/2503.02268

zh-cn

00:24:10

【第242期】MPO：Meta Plan Optimization

Seventy3 ·

2025/05/30

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：MPO: Boosting LLM Agents with Meta Plan OptimizationSummary本研究提出了 MPO（Meta Plan Optimization）框架，旨在提升大型语言模型（LLM）智能体的规划能力。通过整合高级别的元计划，MPO 提供了一种即插即用的方案，以有效改进智能体的表现。该框架利用智能体任务执行过程中的反馈，持续优化元计划的质量。在 ScienceWorld 和 ALFWorld 两个基准任务上的大量实验表明，MPO 框架显著优于现有基线方法，并能增强智能体在未见场景下的泛化能力。此外，分析表明，MPO 生成的元计划提高了智能体的任务完成效率和计划的质量。原文链接：https://arxiv.org/abs/2503.02682

zh-cn

00:14:50

【第241期】LLaVE：一种新型视觉模型

Seventy3 ·

2025/05/29

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive LearningSummary研究论文介绍了 LLaVE，一种新型大型语言和视觉嵌入模型，它通过一种被称为难度加权对比学习的创新框架来提升性能。研究人员发现，现有模型在区分相似但负向的图像-文本对时存在困难，为此 LLaVE 被提出，旨在通过动态调整学习权重来更好地处理这些“困难的负向样本”。该框架在多种任务和数据集上进行了评估，并在性能、可扩展性和跨任务泛化能力方面取得了最先进的结果，甚至在未训练的视频检索任务中也表现出色。原文链接：https://arxiv.org/abs/2503.04812

zh-cn

00:15:47

【第240期】Optimal Brain Apoptosis

Seventy3 ·

2025/05/28

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Optimal Brain ApoptosisSummary这篇研究文章提出了名为Optimal Brain Apoptosis (OBA) 的神经网络剪枝新方法，旨在提高卷积神经网络和 Transformer 等大型模型的计算效率并降低资源需求。与之前依赖近似方法的工作不同，OBA 直接计算 Hessian-向量积来更精确地评估参数的重要性。通过分析网络层之间的连接性（串行和并行），该方法高效地计算了每个参数的二阶泰勒展开。作者们在多个数据集和模型上验证了 OBA 的有效性，表明其在结构化和非结构化剪枝任务上均优于现有技术，尤其是在高稀疏度下。原文链接：https://arxiv.org/abs/2502.17941

zh-cn

00:26:14

【第239期】SoS1：O1和R1模型可以解决Hilbert第17问题难度相当大问题

Seventy3 ·

2025/05/27

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：SoS1: O1 and R1-Like Reasoning LLMs are Sum-of-Square SolversSummary文本讨论了大型语言模型（LLMs）在解决复杂的数学问题方面的能力，特别是一个称为非负多项式判定的问题，该问题与Hilbert第17问题密切相关且在计算上难以解决。研究人员创建了一个名为SoS-1K的新数据集，包含约1000个多项式和详细的推理指南，以评估LLMs在该任务上的表现。他们发现，尽管没有指导的LLMs表现不佳，但高质量的推理指令可以显著提高准确率，甚至一个经过微调的7B模型在准确率上超越了更大的模型。研究表明，通过适当的指导，LLMs有望解决NP难问题并推动数学研究的边界。原文链接：https://arxiv.org/abs/2502.20545

zh-cn

00:14:32

【第238期】xAR：Next-X Prediction

Seventy3 ·

2025/05/26

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Beyond Next-Token: Next-X Prediction for Autoregressive Visual GenerationSummary这项研究提出了 xAR，这是一种用于自回归视觉生成的新框架，旨在超越传统的基于 “下一词元” 预测的方法。通过将 “词元” 的概念扩展到更灵活的 “实体 X”，例如图像块的局部群组（单元格）、非局部群组（子采样）或甚至整个图像，xAR 可以捕获不同的上下文粒度和空间结构。该模型不使用教师强制，而是通过噪声上下文学习（一种利用流匹配进行连续实体回归的训练方法）来解决累积误差问题。xAR 在 ImageNet 基准测试中取得了最先进的性能，其下一单元格预测设计和噪声上下文学习方法展现了其在生成高质量图像方面的有效性和速度。原文链接：https://arxiv.org/abs/2502.20388

zh-cn

00:19:47

【第237期】PlanGEN：多智能体的计划生成框架

Seventy3 ·

2025/05/25

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem SolvingSummary文本讨论了一种名为 PlanGEN 的多智能体框架，旨在改进大型语言模型 (LLM) 解决复杂规划和推理任务的能力。该框架包含约束智能体、验证智能体和选择智能体，通过迭代验证和适应性算法选择来增强现有推理算法的表现。PlanGEN 在多个基准测试中取得了显著进步，并在处理复杂问题时展现出模型无关性的优势。研究发现，基于约束的迭代验证和基于实例复杂度的算法选择对于提高性能至关重要。原文链接：https://arxiv.org/abs/2502.16111

zh-cn

00:18:26

【第236期】NeoBERT：新一代BERT

Seventy3 ·

2025/05/24

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：NeoBERT: A Next-Generation BERTSummary这项研究提出了 NeoBERT，这是一个新一代的编码器模型，旨在弥合其自回归同类模型所取得的进展与 BERT 等现有编码器之间的差距。通过整合最新的架构改进、更现代的数据集和优化的预训练方法，NeoBERT 在各种自然语言处理任务上实现了最先进的性能，尤其是在 MTEB 基准测试中表现出色。该论文强调了预训练阶段的重要性，并通过严格的消融研究验证了不同的设计选择，并开源了所有相关资源以促进未来的研究。原文链接：https://arxiv.org/abs/2502.19587

zh-cn

00:16:08

【第235期】AI co-scientist：AI协作科学家

Seventy3 ·

2025/05/23

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Towards an AI co-scientistSummary这些资料介绍了一款名为“AI共同科学家”的系统，该系统旨在通过模拟科学方法来协助和加速科学发现。这款基于Gemini 2.0的多智能体系统能够根据自然语言指定的研究目标，检索并分析现有文献，提出新颖的假设和实验方案。该系统利用自我博弈和迭代改进来优化其输出，并通过与人类科学家的协作来指导研究方向并验证假设。通过在药物再利用、新型治疗靶点发现和抗微生物抗性等领域的成功实验，该系统展示了其在生成经过湿实验室验证的新颖假设方面的潜力。原文链接：https://arxiv.org/abs/2502.18864

zh-cn

00:17:18

【第234期】Transformers without Normalization

Seventy3 ·

2025/05/22

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。进群添加小助手微信：seventy3_podcast备注：小宇宙今天的主题是：Transformers without NormalizationSummary该来源介绍了一项研究，该研究挑战了神经网络中归一化层不可或缺的观点。研究人员提出了一种名为Dynamic Tanh (DyT) 的简单操作，作为 Transformer 架构中归一化层的替代。通过模仿归一化层 S 形的输入-输出映射并引入一个可学习的缩放参数，DyT 使得没有归一化层的 Transformer 在图像识别、生成、语言建模和语音处理等各种任务上实现了与使用归一化层相当甚至更好的性能。研究结果表明，DyT 是一种简单且高效的替代方案，为深入理解归一化层的作用提供了新的视角。原文链接：https://arxiv.org/abs/2503.10622

zh-cn

578 results

Seventy3

All Episodes

Similar Podcasts

Lead With AI

Tamara Nall

Linux in the Ham Shack

Black Sparrow Media

Data Engineering Podcast

Tobias Macey

Eye On A.I.

Craig S. Smith

Reflections

Livewire Labs