PODCAST

Seventy3

任雨山

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

technology

All Episodes

00:11:27

【第273期】Diffusion-4K：超高分辨率图像生成

Seventy3 ·

2025/06/30

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion ModelsSummary本论文介绍了 Diffusion-4K，这是一个旨在直接生成超高分辨率图像的新框架，解决了现有模型通常局限于较低分辨率的挑战。它通过创建名为 Aesthetic-4K 的4K图像数据集来弥补公共数据集的不足，该数据集包含高质量图像和由 GPT-4o 生成的详细文本描述。此外，Diffusion-4K 引入了新的评估指标，如 GLCM Score 和压缩比，以更好地衡量图像的精细细节和纹理。该框架还提出了一种基于小波的微调方法，能够与现有的潜在扩散模型（如 SD3 和 Flux）兼容，以增强4K图像的细节表现，同时优化内存使用，从而在高质量图像合成和文本提示遵循方面展现出卓越性能。原文链接：https://arxiv.org/abs/2503.18352

zh-cn

00:11:53

【第272期】SimpleRL-Zoo：Zero RL推理能力

Seventy3 ·

2025/06/29

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the WildSummary本研究探讨了零强化学习（RL）对不同基础模型（包括Llama3-8B、Mistral-7B/24B和Qwen系列模型）推理能力的影响。研究发现，通过调整奖励和控制查询难度等策略，RL训练能显著提高模型的推理准确性和响应长度。值得注意的是，该研究首次在非Qwen系列的小型模型中观察到“顿悟时刻”（aha moment），即模型认知行为（如验证和回溯）的显著提升。此外，文章还指出，严格的格式奖励会阻碍模型探索，而训练数据难度必须与模型能力匹配。研究还发现，传统的有监督微调（SFT）作为RL的冷启动会限制高级推理能力的出现，表明零RL训练是提升模型性能的更优途径。原文链接：https://arxiv.org/abs/2503.18892

zh-cn

00:23:40

【第271期】FFN Fusion

Seventy3 ·

2025/06/28

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：FFN Fusion: Rethinking Sequential Computation in Large Language ModelsSummary该论文介绍了一种名为FFN Fusion的新型优化技术，旨在提高大型语言模型的推理效率。通过识别并整合变压器架构中连续的馈送网络（FFN）层，该方法将顺序计算转化为并行操作，从而显著减少推理延迟和每令牌成本。研究人员利用这种技术开发了Ultra-253B-Base模型，该模型在保持或超越原始大型模型性能的同时，实现了显著的速度提升和更低的内存占用。此外，该研究还探讨了不同模型层之间的依赖关系，为未来的模型架构设计和优化方向提供了新的见解，甚至表明整个变压器块也能在某些情况下并行化。原文链接：https://arxiv.org/abs/2503.18908

zh-cn

00:16:59

【第270期】Bottleneck Sampling

Seventy3 ·

2025/06/27

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Training-free Diffusion Acceleration with Bottleneck SamplingSummary该文件介绍了**“瓶颈采样”，这是一种用于加速扩散模型推理的无训练框架，而不会降低生成内容的质量。文章指出，由于自注意力的二次复杂度，图像和视频生成模型（如Diffusion Transformers，DiTs）的计算成本很高，尤其是在高分辨率下。为了解决这个问题，瓶颈采样采用了高-低-高去噪工作流程**：在初始和最终阶段以高分辨率进行处理以捕获细节，而在中间步骤则切换到低分辨率以提高效率。这种方法通过在分辨率转换点重新引入噪声并调整去噪时间步长来减轻伪影。实验结果表明，该方法在保持图像和视频生成质量的同时，分别将推理速度提高了3倍和2.5倍。原文链接：https://arxiv.org/abs/2503.18940

zh-cn

00:15:17

【第269期】Video-T1：Test-Time Scaling for Video Generation

Seventy3 ·

2025/06/27

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Video-T1: Test-Time Scaling for Video GenerationSummary这篇研究论文介绍了一种名为Video-T1的新框架，用于视频生成中的测试时间缩放（TTS）。该框架将视频生成重新解释为一个搜索问题，旨在从高斯噪声空间中找到更好的视频轨迹，从而提高生成质量。论文探讨了两种搜索算法：随机线性搜索和更高效的帧树（ToF）搜索，后者通过自回归方式动态扩展和修剪视频分支。研究表明，在推理时增加计算量可以显著提升视频生成质量和与文本提示的一致性，尤其是ToF搜索能够以更低的计算成本达到高质量结果，为视频生成领域的推理时间优化提供了新的方向。原文链接：https://arxiv.org/abs/2503.18942

zh-cn

00:24:54

【第268期】FAR：Next-Frame Prediction

Seventy3 ·

2025/06/25

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Long-Context Autoregressive Video Modeling with Next-Frame PredictionSummary本研究引入了帧自回归（FAR）模型，这是一种用于视频生成的强大基线，它通过建模连续帧之间的时间因果关系来改进现有方法。FAR 模型解决了训练和推理之间存在的上下文观察差异，并提出了随机干净上下文的训练策略以提高效率。为了应对长视频建模的挑战，作者们引入了FlexRoPE来增强测试时间的时间外推能力，并采用了长短期上下文建模来有效处理视觉冗余并高效训练长视频序列。实验结果表明，FAR 在短视频和长视频生成方面都达到了最先进的性能。原文链接：https://arxiv.org/abs/2503.19325

zh-cn

00:16:20

【第267期】RoboMIND：用于机器人操作的大型、多主体、高质量数据集

Seventy3 ·

2025/06/24

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot ManipulationSummary名为RoboMIND的来源文档介绍了一个用于机器人操作的大型、多主体、高质量数据集，旨在推动通用机器人模型的开发。该数据集包含107k条演示轨迹，涵盖479项不同任务和96种对象类别，并利用人类遥操作以标准化方式收集数据，确保一致性和可靠性。RoboMIND不仅包括成功的操作轨迹，还收录了5k条现实世界中的失败案例及其详细原因，以及一个数字孪生模拟环境以促进低成本数据收集和评估。通过对各种模仿学习方法和视觉-语言-动作（VLA）模型进行广泛实验，RoboMIND被证明能够显著提高机器人操作的成功率和泛化能力，使其成为机器人学习领域的重要基准和资源。原文链接：https://arxiv.org/abs/2412.13877

zh-cn

00:27:00

【第266期】OLMo 2

Seventy3 ·

2025/06/23

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：2 OLMo 2 FuriousSummary这篇文档介绍了 OLMo 2，一种由 AllenAI 开发的开源语言模型系列。它详细阐述了 OLMo 2 相较于其前代模型的改进，包括架构增强、训练稳定性提升和数据混合策略的优化，特别是引入了 Dolmino Mix 1124 以提高数学能力。文档还讨论了后训练流程，例如使用 RLVR 进行指令微调，并强调了基础设施作为研究催化剂的重要性。OLMo 2 在性能上与 Llama 3.1 和 Qwen 2.5 等其他模型竞争，但提供了完全透明的训练数据和代码，旨在促进开源语言模型生态系统的发展。原文链接：https://arxiv.org/abs/2501.00656

zh-cn

00:30:31

【第265期】ARQ： for LLM Instruction Following

Seventy3 ·

2025/06/22

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Attentive Reasoning Queries: A Systematic Method for Optimizing Instruction-Following in Large Language ModelsSummary这些资料介绍了一种名为注意力推理查询 (ARQs) 的新颖结构化推理方法，旨在显著提升大型语言模型 (LLMs) 在遵循指令方面的表现。通过引导 LLMs 遵循特定领域的推理蓝图和目标查询，ARQs 解决了 LLMs 在多轮对话中难以持续遵守复杂指令的常见问题。该研究在 Parlant 框架内对 ARQs 进行了评估，结果显示其在客服场景中表现优于传统的思维链 (CoT) 和直接响应生成方法，特别是在指导方针重新应用和防止幻觉等关键挑战方面。尽管 ARQs 在某些模块中可能消耗更多计算资源，但其在结构化任务中展现出更高的效率和准确性，这表明精心设计的 ARQs 能够有效控制 LLMs

zh-cn

00:21:49

【第264期】Block Diffusion Language Models

Seventy3 ·

2025/06/21

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Block Diffusion: Interpolating Between Autoregressive and Diffusion Language ModelsSummary这些来源介绍了一种名为块扩散语言模型（BD3-LMs）的新型人工智能模型，它结合了自回归模型和扩散模型的优点。传统扩散模型在生成任意长度文本和推理效率方面存在局限性，而自回归模型则受限于顺序生成。BD3-LMs通过将文本分成块并在每个块内使用扩散模型进行并行生成来解决这些问题，同时利用键值缓存提高效率。研究表明，与现有扩散模型相比，BD3-LMs在语言建模基准测试中达到了最先进的性能，并且能够生成更长、质量更高的序列，部分得益于优化的训练算法和低方差的噪声调度。原文链接：https://arxiv.org/abs/2503.09573

zh-cn

00:14:24

【第263期】SEARCH-R1: RL for Reasoning and Search in LLMs

Seventy3 ·

2025/06/20

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement LearningSummary这篇研究文章提出了一种名为 SEARCH-R1 的新型框架，它利用强化学习让大型语言模型 (LLMs) 学习如何通过多轮搜索查询与搜索引擎进行自主交互。区别于依赖固定检索或大量标注数据的现有方法，SEARCH-R1 使 LLMs 能够在逐步推理过程中动态生成搜索请求并利用实时检索到的信息。通过在强化学习训练中引入检索到的词元屏蔽和基于结果的奖励函数，SEARCH-R1 在多个问答数据集上显著提高了性能，验证了其在结合推理与外部知识获取方面的有效性。原文链接：https://arxiv.org/abs/2503.09516

zh-cn

00:16:01

【第262期】PLAN-AND-ACT：Long-Horizon Tasks Plan Agents

Seventy3 ·

2025/06/19

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Plan-and-Act: Improving Planning of Agents for Long-Horizon TasksSummary这篇文章介绍了一个名为 PLAN-AND-ACT 的新框架，旨在提升大型语言模型 (LLMs) 在执行复杂、多步长任务时的表现。该框架通过将任务分解为 PLANNER（负责生成高层计划）和 EXECUTOR（负责将计划转化为具体操作）两个独立部分来实现这一目标。文章强调了生成准确计划的挑战，并提出了一个通过合成数据生成来训练 PLANNER 的可扩展方法。PLAN-AND-ACT 在网页导航任务上取得了最先进的性能，尤其在引入动态重新规划后效果显著，证明了分离规划与执行以及高质量规划数据的重要性。原文链接：https://arxiv.org/abs/2503.09572

zh-cn

00:16:22

【第261期】LMM-R1: Reasoning Enhancement for LMM

Seventy3 ·

2025/06/18

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：LMM-R1: Empowering 3B LMMs with Strong Reasoning Abilities Through Two-Stage Rule-Based RLSummary本研究提出了一个名为 LMM-R1 的框架，旨在通过一种新颖的两阶段规则奖励强化学习方法提升大型多模态模型 (LMM) 的推理能力，即使是参数量有限的小型模型也不例外。第一阶段侧重于利用大量的文本数据加强基础推理能力，而无需昂贵的多模态数据收集。第二阶段则将这些提升后的推理能力泛化到各种多模态任务和代理相关应用中，通过在相关领域的持续训练来实现。结果表明，文本基础推理能力的增强能有效地推广到多模态领域，为训练推理能力强的 LMMs 提供了一种数据高效的范式。原文链接：https://arxiv.org/abs/2503.07536

zh-cn

00:12:44

【第260期】Vision-R1: Reasoning in Multimodal LLM

Seventy3 ·

2025/06/17

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language ModelsSummary这篇研究探讨了如何通过强化学习（RL）增强多模态大型语言模型（MLLM）的推理能力，并提出了 Vision-R1 模型。研究首先构建了一个高质量、无需人工标注的多模态思维链数据集，用于对基础 MLLM 进行冷启动初始化，从而初步学习类人推理模式。为了克服初始化后出现的“过度思考”优化难题，研究引入了渐进式思维抑制训练（PTST）策略，结合 GRPO 算法和硬格式化结果奖励函数，引导模型逐步完善推理过程并延长思考链，最终显著提升了 Vision-R1 在数学推理任务上的表现。尽管 Vision-R1-7B 参数量较小，但在多项基准测试中取得了与大型模型相当的性能。原文链接：https://arxiv.org/abs/2503.06749

zh-cn

00:17:26

【第259期】Agentic Reward Modeling

Seventy3 ·

2025/06/16

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward SystemsSummary这项研究提出了“代理奖励建模”，一种结合了传统基于人类偏好奖励模型和可验证正确性信号的新型奖励系统。研究人员实现了一个名为 REWARDAGENT 的奖励代理，它集成了对事实性和指令遵循的可验证信号，以提供更可靠的奖励。通过在现有奖励模型基准、推理时最佳搜索以及构建训练偏好对方面的实验，结果表明 REWARDAGENT 显著优于仅依赖人类偏好的奖励模型。该框架通过纳入多维正确性信号来增强可靠性，并允许灵活集成不同的验证代理。 REWARDAGENT

zh-cn

00:25:58

【第258期】Forecasting Rare Language Model Behaviors

Seventy3 ·

2025/06/15

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Forecasting Rare Language Model BehaviorsSummary这些资料提出了预测大型语言模型在大规模部署时可能出现的罕见不良行为的方法。它们解释说，标准的评估方法测试查询数量远少于实际部署中的查询数量，因此可能无法捕捉到仅在数十亿次查询中才会显现的风险。通过分析每个查询引发特定行为的**“引发表概率”，研究人员发现，这些概率的最大值随着查询数量的增加呈可预测的比例变化**。这项研究展示了这种预测方法能够预测各种不良行为的出现，包括提供危险信息或采取追求权力行动，并且预测范围可以跨越高达三个数量级的查询量。最终，这项工作旨在帮助模型开发者在这些罕见故障在现实世界中发生之前就主动预见并修复它们。原文链接：https://arxiv.org/abs/2502.16797

zh-cn

00:16:24

【第257期】UPFT：The First Few Tokens Are All You Need

Seventy3 ·

2025/06/14

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning ModelsSummary本文件介绍了一种名为无监督前缀微调 (UPFT) 的新方法，旨在提高大型语言模型的推理能力。与需要大量标记数据或计算成本高昂的拒绝采样微调 (RFT) 不同，UPFT 仅利用模型生成响应的初始标记进行训练。文章的核心观点是“前缀自洽性”，即不同解法的初步推理步骤通常是一致的，即使后续步骤可能有所不同。实验结果表明，UPFT 在推理性能上与监督方法 RFT 持平，但显着减少了训练时间和采样成本，证明了其在无需外部监督的情况下提高模型推理能力的有效性和高效性。该方法通过专注于早期推理步骤来优化训练过程，同时通过少量全标记微调来保持模型的整体结构知识。最终，UPFT

zh-cn

00:18:31

【第256期】LightThinker: Thinking Step-by-Step Compression

Seventy3 ·

2025/06/13

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：LightThinker: Thinking Step-by-Step CompressionSummary这些资源介绍了 LightThinker，这是一种通过在推理过程中动态压缩中间思考步骤来提高大型语言模型 (LLM) 效率的新方法。LightThinker 借鉴人类认知过程，将冗长的思考链压缩成紧凑的表示，从而显著减少上下文窗口中存储的 token 数量，降低内存开销和计算成本。它通过训练模型在何时以及如何执行压缩来实现这一点，并引入了 Dependency (Dep) 指标来量化压缩程度。研究结果表明，与现有方法相比，LightThinker 在保持竞争性准确性的同时，有效减少了峰值内存使用和推理时间。原文链接：https://arxiv.org/abs/2502.15589

zh-cn

00:17:04

【第255期】用FFT替代传统自注意力机制

Seventy3 ·

2025/06/12

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：SPECTRE: An FFT-Based Efficient Drop-In Replacement to Self-Attention for Long ContextsSummary这个文本介绍了FFTNet，一种利用快速傅里叶变换（FFT）来替代传统自注意力机制的新型神经网络架构。传统自注意力机制在处理长序列时计算复杂度高，而FFTNet通过将输入转换到频域，以O(n log n)的时间复杂度实现高效的全局信息混合。该方法的核心创新在于引入了自适应频谱滤波器，并结合了可选的局部窗口处理以及频率域和时域的非线性处理。实验结果表明，FFTNet在处理长序列和图像分类任务上表现出色，验证了其在保持计算效率的同时提升模型表达能力。原文链接：https://arxiv.org/abs/2502.18394

zh-cn

00:12:27

【第254期】Thinking Faster by Drafting Less: Chain of Draft

Seventy3 ·

2025/06/11

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Chain of Draft: Thinking Faster by Writing LessSummary本来源介绍了 Chain of Draft (CoD)，这是一种用于大型语言模型（LLMs）的新颖提示策略。与强调详细逐步推理的现有 Chain-of-Thought (CoT) 方法不同，CoD 鼓励 LLMs 生成简洁、信息密集型的中间草稿。研究表明，通过减少冗长，CoD 在保持或提高准确性的同时，显着降低了成本和延迟。这项技术模仿了人类解决问题时记下简洁笔记的方式，使其成为 LLMs 在实际应用中更高效、更经济的推理方法。文章通过在算术、常识和符号推理等任务上的实验结果来支持 CoD 的有效性。原文链接：https://arxiv.org/abs/2502.18600

zh-cn

578 results

Seventy3

All Episodes

Similar Podcasts

Lead With AI

Tamara Nall

Linux in the Ham Shack

Black Sparrow Media

Data Engineering Podcast

Tobias Macey

Eye On A.I.

Craig S. Smith

Reflections

Livewire Labs