PODCAST

Seventy3

任雨山

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

technology

All Episodes

00:09:56

【第293期】（中文）LightPROF：知识图谱上大型语言模型的轻量推理框架

Seventy3 ·

2025/07/20

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge GraphSummary这篇研究论文介绍了 LightPROF，一个为知识图谱问答（KGQA）设计的轻量级、高效提示学习推理框架。该框架旨在解决大型语言模型（LLMs）在处理复杂知识图谱信息时面临的知识更新延迟和资源消耗高等挑战。LightPROF 采用“检索-嵌入-推理”流程，通过一个创新的知识适配器，将知识图谱中的文本和结构信息转化为LLM友好的软提示，从而使小型LLMs也能高效、准确地执行多跳推理任务。实验结果表明，LightPROF 在性能上超越了现有方法，同时显著降低了输入令牌数量和推理时间。原文链接：https://arxiv.org/abs/2504.03137

zh-cn

00:06:56

【第292期】（中文）AI Scientist-v2：代理树搜索自动化科学发现

Seventy3 ·

2025/07/19

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree SearchSummary本报告介绍了The AI Scientist-v2，这是一个显著改进的自动化科学发现框架，旨在克服其前身The AI Scientist-v1的局限性。v2版本通过引入代理树搜索、视觉语言模型（VLM）反馈和并行实验执行，增强了系统的自主性、灵活性和科学探索深度。研究人员提交了由The AI

zh-cn

00:07:34

【第291期】（中文）attention sinks：LLMs倾向于将大部分注意力集中在第一个token

Seventy3 ·

2025/07/18

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Why do LLMs attend to the first token?Summary本研究探讨大型语言模型 (LLMs) 中“注意力槽”（attention sinks）现象的潜在原因和效用。注意力槽是指LLMs倾向于将大部分注意力集中在序列的第一个标记上，即使该标记语义不重要。作者认为，这种机制是LLMs为了避免“过度混合”信息而采取的一种策略，过度混合可能导致表示崩溃，降低模型性能。通过理论分析和实验验证，研究表明，随着模型规模和上下文长度的增加，注意力槽变得更强，这支持了其作为稳定信息传播机制的作用。此外，文章还分析了预训练设置对注意力槽形成的影响，指出即使移除起始标记，模型也会在第一个可用标记上形成注意力槽。原文链接：https://arxiv.org/abs/2504.02732

zh-cn

00:08:14

【第290期】（中文）PLAY2PROMPT：LLM零样本优化

Seventy3 ·

2025/07/17

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：PLAY2PROMPT: Zero-shot Tool Instruction Optimization for LLM Agents via Tool PlaySummary此文档介绍了 PLAY2PROMPT，这是一个旨在优化大型语言模型（LLMs）工具使用能力的新型自动化框架。该框架通过模拟工具交互的试错过程来学习，从而在没有预先标记数据的情况下，自动生成高质量的工具文档和使用示例。PLAY2PROMPT采用束搜索框架，并结合自反思机制，迭代地完善工具文档并创建演示，从而显著提升LLMs在各种真实世界任务中的零样本工具使用性能，尤其在处理不完整或嘈杂的工具信息时表现出色。原文链接：https://arxiv.org/abs/2503.14432

zh-cn

00:09:53

【第289期】（中文）Chain-of-Tools：利用海量工具增强推理

Seventy3 ·

2025/07/16

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning ofFrozen Language ModelsSummary本论文介绍了一种名为 Chain-of-Tools (CoTools) 的新型工具学习方法，旨在提升大型语言模型 (LLMs) 在链式思维 (CoT) 推理过程中使用工具的能力。CoTools 克服了现有方法在处理大量未见工具和效率方面的局限性，通过利用冻结 LLM 的强大语义表示能力来判断何时调用工具并选择合适的工具。研究人员构建了一个名为 SimpleToolQuestions (STQuestions) 的新数据集来验证其方法在处理大量未见工具场景下的有效性，并在数值推理和基于知识的问答任务上进行了实验，结果表明 CoTools 优于基线方法，并有助于提升模型的可解释性。该研究还深入分析了数据合成、工具数量和未见工具

zh-cn

00:09:44

【第288期】（中文）统一嵌入空间：捕捉大脑语言处理

Seventy3 ·

2025/07/15

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：A unified acoustic-to-speech-to-language embedding space captures the neural basis of natural language processing in everyday conversationsSummary这份研究介绍了一个统一的计算框架，该框架将声学、语音和词级语言结构连接起来，以探索人类大脑在日常对话中自然语言处理的神经基础。通过使用电皮层图 (ECoG) 记录参与者在真实对话中的神经信号，研究人员提取了多模态语音转文本模型（Whisper）中的低级声学、中级语音和上下文词嵌入。他们发现，这个模型能够准确预测神经活动，并且其内部处理层级与皮层语言处理的层级相符，支持了一种新的范式，即统一的计算模型能够捕捉真实世界对话中语音理解和产生的整个处理层级。原文链接：https://www.nature.com/articles/s41562-025-02105-9

zh-cn

00:11:05

【第287期】（中文）AgentRxiv：迈向协作式自主研究

Seventy3 ·

2025/07/14

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：AgentRxiv: Towards Collaborative Autonomous ResearchSummary本研究介绍了AgentRxiv，这是一个创新框架，旨在促进大型语言模型（LLM）代理之间在科研方面的协作与共享。作者们通过让代理访问共享预印本服务器上的先前研究，证明了AgentRxiv能够显著提高性能，例如在MATH-500基准测试中取得了11.4%的相对改进。该框架不仅使代理能够在其自身工作的基础上进行迭代改进，而且通过并行运行多个实验室进一步加速了发现过程。尽管存在计算成本增加和幻觉等挑战，但AgentRxiv通过促进知识共享和累计进步，为自动科学研究的未来发展提供了有力的证据。原文链接：https://arxiv.org/abs/2503.18102

zh-cn

00:09:01

【第286期】（中文）扩散采样最佳步长

Seventy3 ·

2025/07/13

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Optimal Stepsize for Diffusion SamplingSummary这份文件介绍了一种用于扩散模型的动态规划框架，旨在优化采样过程中的步长调度。作者通过将步长优化重新表述为递归误差最小化问题，从参考轨迹中提取了理论上最优的步长序列。该方法能够显著加速文本到图像生成，同时保持高水平的性能，并展示了在不同架构、ODE求解器和噪声调度下的强大鲁棒性。文章还讨论了振幅校准以增强图像细节，并将其方法与现有技术进行了比较，证明了其在减少计算量同时保持输出质量方面的优势。原文链接：https://arxiv.org/abs/2503.21774

zh-cn

00:10:32

【第285期】（中文）UI-R1: 强化学习提升GUI智能体动作预测

Seventy3 ·

2025/07/13

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：UI-R1: Enhancing Action Prediction of GUI Agents by Reinforcement LearningSummary文本介绍了 UI-R1 框架，这是一种通过基于规则的强化学习 (RL) 提升多模态大型语言模型 (MLLM) 图形用户界面 (GUI) 动作预测能力的新方法。与传统的监督微调 (SFT) 不同，UI-R1 仅使用少量高质量数据进行训练，并利用独特的奖励函数来指导模型学习动作类型和坐标预测。实验结果表明，该模型在域内和域外任务上均表现出色，甚至超越了使用更多数据训练的更大模型。这凸显了基于规则的 RL 在提高 GUI 理解和控制方面的数据效率和泛化能力。原文链接：https://arxiv.org/abs/2503.21620

zh-cn

00:08:07

【第284期】（中文）UniDisc ：Unified Multimodal Discrete...

Seventy3 ·

2025/07/11

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Unified Multimodal Discrete DiffusionSummary这些来源介绍了一种名为 UniDisc 的新型多模态离散扩散模型，该模型能够统一地理解和生成图像和文本。与主流的自回归模型不同，UniDisc 利用离散扩散的优势，例如更好的生成样本质量与多样性控制、跨文本和图像领域的联合 inpainting 能力以及更高的可控性。该研究通过缩放分析和性能比较，证明 UniDisc 在性能和推理计算效率方面均优于自回归模型，尤其在联合图像-文本 inpainting 和判别能力方面表现出色。此外，这些来源还讨论了模型的设计选择、训练效率以及在更高分辨率下进行零样本生成的能力。原文链接：https://arxiv.org/abs/2503.20853

zh-cn

00:10:46

【第283期】（中文）A-MEM：基于Agent的内存系统

Seventy3 ·

2025/07/10

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：A-MEM: Agentic Memory for LLM AgentsSummary此文档介绍了一种名为 A-MEM 的新型代理式记忆系统，旨在提升大型语言模型（LLM）代理处理复杂现实任务的能力。该系统通过借鉴 Zettelkasten 方法，能够动态组织和演化记忆，从而克服了现有记忆系统固定操作和结构所带来的局限性。A-MEM 能够自主生成上下文描述、建立记忆间的关联，并根据新经验更新现有记忆，从而在长期对话任务中展现出卓越的性能，尤其是在需要复杂推理的多跳任务中。该研究还通过消融研究和超参数分析验证了其关键模块的有效性，并提供了记忆嵌入的可视化以展示其优化的结构。原文链接：https://arxiv.org/abs/2502.12110

zh-cn

00:09:43

【第282期】（中文）DeepSeek 模型的关键创新技术回顾

Seventy3 ·

2025/07/09

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：A Review of DeepSeek Models’ Key Innovative TechniquesSummary本评论文章概述了 DeepSeek 模型的关键创新技术，其中包括 DeepSeek-V3 和 DeepSeek-R1。文章详细阐述了 transformer 架构的改进，如多头潜在注意力 (Multi-Head Latent Attention) 和专家混合 (Mixture of Experts)，这些都旨在提升效率和性能。此外，它还探讨了多令牌预测 (Multi-Token Prediction) 及其对训练效率的影响，以及算法、框架和硬件的协同设计，包括 DualPipe 和 FP8 混合精度训练。最后，文章介绍了 Group Relative Policy Optimization (GRPO) 强化学习算法，并讨论了 DeepSeek

zh-cn

00:08:44

【第281期】（中文）Cosmos-Reason1

Seventy3 ·

2025/07/08

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Cosmos-Reason1: From Physical Common Sense To Embodied ReasoningSummaryCosmos-Reason1 介绍了一个多模态大型语言模型系列，专注于物理世界理解和推理。该模型通过四个训练阶段进行开发：视觉预训练、通用监督微调（SFT）、物理AI SFT和物理AI强化学习（RL）。为了评估模型，研究人员定义了物理常识和具身推理的本体论，并构建了全面的基准。结果表明，物理AI SFT和RL显著提升了模型的性能，使其能够更好地处理涉及空间、时间和直观物理的复杂任务，而这些是现有模型所面临的挑战。该项目旨在通过开源代码和预训练模型来推动物理AI系统的发展。原文链接：https://arxiv.org/abs/2503.15558

zh-cn

00:10:14

【第280期】（中文）RQI：超分辨率图像评估新视角

Seventy3 ·

2025/07/07

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Rethinking Image Evaluation in Super-ResolutionSummary该论文探讨了图像超分辨率（SR）领域中人类感知评估与现有量化评估之间日益增长的不一致性。作者们认为，现有SR数据集中“地面实况（GT）”图像的质量不佳是导致这种评估偏差的一个关键因素。文章通过系统性分析，揭示了GT质量如何影响SR模型的评估结果，并指出即使GT图像质量较差，也可能导致模型输出在感知上优于GT。为解决这一问题，研究提出了一种名为相对质量指数（RQI）的新型感知质量度量，旨在更准确地反映图像对之间的相对质量差异，并证明了其在与人类偏好保持一致性方面的优越性。这项工作为未来SR数据集的构建、模型的开发以及评估指标的设计提供了重要的见解。原文链接：https://arxiv.org/abs/2503.14868

zh-cn

00:08:51

【第279期】（中文）无反向传播的高效量化扩散模型个性化

Seventy3 ·

2025/07/06

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Efficient Personalization of Quantized Diffusion Model without BackpropagationSummary此篇研究论文介绍了一种名为 ZOODiP 的新型框架，旨在在内存受限的环境中高效地个性化扩散模型。该方法通过量化扩散模型并利用零阶优化，在无需反向传播的情况下实现微调，从而显著减少了内存消耗。为了克服零阶优化的局限性，ZOODiP 引入了 Subspace Gradient (SG) 来处理梯度噪声，并提出了 Partial Uniform Timestep Sampling (PUTS) 来优化训练过程中的时间步选择。实验结果表明，ZOODiP 在大幅降低内存需求的同时，仍能实现与现有方法相当的图像质量和文本对齐分数。原文链接：https://arxiv.org/abs/2503.14868

zh-cn

00:06:46

【第278期】（中文）CLS-RL：一种基于规则的强化学习方法

Seventy3 ·

2025/07/05

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Think or Not Think: A Study of Explicit Thinking in Rule-Based Visual Reinforcement

zh-cn

00:08:40

【第277期】（中文）Fin-R1：金融推理大型语言模型

Seventy3 ·

2025/07/04

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement LearningSummary文本介绍了 Fin-R1，一个专门为金融领域推理任务设计的大型语言模型。该模型旨在解决金融数据碎片化、推理逻辑不可控以及业务泛化能力弱等核心问题。通过构建一个包含**高质量思维链（CoT）的金融数据集 Fin-R1-Data，并采用监督微调（SFT）和强化学习（RL）**的两阶段训练框架，Fin-R1 在多个权威金融基准测试中展现出卓越性能，尤其在处理金融推理任务方面表现突出。该研究强调了其在金融合规和智能投顾等实际应用中的强大自动化推理和决策能力。原文链接：https://arxiv.org/abs/2503.16252

zh-cn

00:11:00

【第276期】（中文）Scale-wise Distillation

Seventy3 ·

2025/07/04

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。本期开启中文播客今天的主题是：Scale-wise Distillation of Diffusion ModelsSummary这篇研究介绍了 SWD（Scale-wise Distillation），一个用于扩散模型的逐尺度蒸馏框架，它利用下一尺度预测的思想来加速图像生成。传统扩散模型在高分辨率下计算成本高昂，而 SWD 允许模型在较低分辨率下启动生成，然后逐步提高样本分辨率，同时保持性能并显著降低计算量。作者通过分析潜在空间的频谱，论证了在高噪声水平下，模型可以在较低分辨率空间中有效工作。SWD 还引入了一种新颖的补丁损失，以确保与目标分布的更精细相似性，并在实验中展示了其在文本到图像生成任务中优于现有方法的效率和质量。原文链接：https://arxiv.org/abs/2503.16397

zh-cn

00:11:48

【第275期】InfiniteYou：身份保留图像生成

Seventy3 ·

2025/07/02

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：InfiniteYou: Flexible Photo Recrafting While Preserving Your IdentitySummary这项研究介绍了InfiniteYou (InfU)，一个用于身份保留图像生成的新颖框架，它利用先进的扩散Transformer (DiT)技术来解决现有方法的不足。InfU的核心是InfuseNet，它通过残差连接将身份特征注入DiT基模型，从而提高身份相似性并保持生成能力。该框架还采用了多阶段训练策略，包括预训练和监督微调，使用合成的单人多样本（SPMS）数据，以改善文本-图像对齐、图像质量和美观性。此外，InfU被设计成即插即用，可以与现有插件和方法兼容，为更广泛的社区做出了贡献，并在身份相似性、文本-图像对齐和整体图像质量方面实现了最先进的性能。原文链接：https://arxiv.org/abs/2503.16418#####################彩蛋：明日起开启中文播客

zh-cn

00:16:00

【第274期】Vision-R1

Seventy3 ·

2025/07/02

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Vision-R1: Evolving Human-Free Alignment in Large Vision-Language Models via Vision-Guided Reinforcement

zh-cn

578 results

Seventy3

All Episodes

Similar Podcasts

Lead With AI

Tamara Nall

Linux in the Ham Shack

Black Sparrow Media

Data Engineering Podcast

Tobias Macey

Eye On A.I.

Craig S. Smith

Reflections

Livewire Labs