AI资讯AI新闻资讯正文OpenAI CEO直说“不喜欢智能眼镜”：跟戴摄像机的人讲话很不舒服，扎克伯格暂时松口气发布于AI新闻资讯发布时间 :2026年9月2号 9:30阅读 :1分钟OpenAI CEO 萨姆·奥尔特曼当地时间周二在接受 Alex Heath 的《Sources Podcast》采访时明确表示，他不喜欢智能眼镜，直言“觉得跟戴着摄像机和灯光装置的人交谈非常不舒服”。这番表态无疑是在告诉马克·扎克伯格，暂时不用担心 OpenAI 来抢 Meta 智能眼镜的生意。态度早有端倪，Meta 眼镜业务正快速增长事实上，奥尔特曼对智能眼镜的态度早有端倪。去年参加艾伦公司太阳谷峰会期间，记者在场边询问他所戴太阳镜是否为智能眼镜时，他很快澄清：“绝对不是，我不喜欢智能眼镜。”Meta 是智能眼镜领域的主要参与者之一。虽然公司未单独披露眼镜收入，但在财报中多次表示 AI 眼镜销量增长正在抵消 Quest 头显销量放缓的影响。今年 7 月，Meta 报告显示其 Reality Labs 部门（含消费硬件销售）在 2026 年第二季度实现营收 4.31 亿美元（约合 29.04 亿元人民币），同比增长 6100 万美元。与此同时，智能眼镜的隐私问题正引发广泛关注。在一些场所宣布计划禁止顾客佩戴智能眼镜后，Meta 近期发起了一轮公关攻势，Instagram 也承诺打击用户利用智能眼镜偷拍的行为，但目前来看仍有待改进。暗示 OpenAI 硬件并非眼镜形态，将分批推出采访中，希思试图让奥尔特曼透露更多关于 OpenAI 与传奇 iPhone 设计师乔尼·艾维（Jony Ive）共同开发的 AI 设备细节。奥尔特曼表示：“我认为有些东西适合放在桌面上，有些东西适合放进口袋里，还有些东西适合佩戴在身上，我们会花些时间把这些东西逐一推出。”据此前报道，OpenAI 与艾维旗下 LoveFrom 工作室合作的设备内部代号为“Sweet Pea”，定位为 AI 语音交互设备。奥尔特曼此番表态，也暗示该设备可能并非智能眼镜形态。

AI资讯AI新闻资讯正文​Reddit 神作让 Claude 与你笔对笔手写互动，沉浸式学习体验直接封神发布于AI新闻资讯发布时间 :2026年9月2号 9:31阅读 :1分钟近日，Reddit社区一位开发者打造了一款极具创新性的手写互动学习软件。该工具让 AI（Claude）能够在手写板或平板上与用户实现真正的“笔对笔”交流，仿佛《哈利·波特》中汤姆·里德尔的魔法日记一般，能够实时“手写回信”，让数字学习瞬间充满魔法感与温度。双向手写，真正的“笔对笔”对话用户只需在空白页面上用手写笔记录想法、发散思路或做笔记，Claude 便会识别手写内容，并在同一页面的合适位置，以自然流畅的手写字体直接写下反馈、追问或拓展建议。整个过程没有传统聊天窗口的割裂感，也无需反复切换应用或打字输入，AI 的回应如同一位耐心的学伴，就在你的笔迹旁边自然展开。文献与电子书深度研读，私人教授时刻在线软件还支持导入 PDF 和电子书。用户可在书页上自由划重点、写批注，Claude 会针对标记内容主动生成旁注，像一位经验丰富的私人教授一样与你展开讨论。更进一步，它还能根据材料主动出题测验，帮助巩固理解。这种“边读边聊”的方式，让深度研读从被动接收变成主动探索。沉浸式复利学习，告别机械打字聊天与传统打字式 AI 对话不同，这款工具强调“慢下来”的学习节奏。手写本身就更有助于记忆与思考，结合 AI 的实时手写回应，学习过程变得更具探索性与沉浸感。开发者表示，这是他近年来使用 Claude 学习时，第一次真正感受到知识在“复利式”积累的愉悦。据了解，该软件目前主要面向配备手写笔的 Android 平板（如 Daylight DC-1等）优化，同时也在推进其他平台适配。它将手写矢量数据发送给 Claude，由 AI 决定回应内容与位置，再以手写风格呈现，既保留了纸笔的自然感，又充分发挥了大模型的智能优势。AIbase 认为，这类将 AI 深度融入手写场景的创新，正在重新定义人机协作学习的边界。从“打字聊天”到“笔对笔对话”，技术不再只是工具，而是真正融入思考与记忆的过程。未来，或许越来越多学习者将拥有属于自己的“魔法日记”，让每一次落笔都成为与智慧的对话。原帖地址:https://www.reddit.com/r/ClaudeAI/comments/1vxqbzs/i_built_a_handwriting_notebook_app_where_claude/

AI资讯AI新闻资讯正文Anthropic 双发 Claude Fable 5.1 与 Mythos 5.1：编程跑分翻倍，缓存读取费用直降 75%发布于AI新闻资讯发布时间 :2026年9月2号 10:06阅读 :2分钟当地时间 9 月 1 日，Anthropic 宣布推出 Claude Fable 5.1 和 Claude Mythos 5.1 模型，称其为“全球最先进的编程与知识工作模型”。两款模型采用相同的基础模型，区别在于安全防护等级：Fable 5.1 面向所有用户开放，Mythos 5.1 仅通过可信访问计划向经过审核的网络安全和生命科学领域机构提供。跑分全面超越前代，价格反而更便宜基准测试方面，Fable 5.1 在多项测试中超过了前代 Fable 5、Opus 5 以及 OpenAI 的 GPT-5.6 Sol。在智能体科学研究基准 Terminal-Bench-Science 0.1 中，Fable 5.1 得分 52.6%，而 Fable 5 为 24.7%、Opus 5 为 29.0%、GPT-5.6 Sol 为 22.4%。在智能体编程基准 Terminal-Bench 4.0 中，Fable 5.1 得分为 55.8%，Mythos 5.1 在更宽松的安全防护下达 60.9%。知识工作方面，Fable 5.1 在 GDPval-AA v2 测试中获得 1853 分，高于 Opus 5 的 1824 分和 Fable 5 的 1723 分。价格上，Fable 5.1 的缓存读取费用下调 75%，降至每百万词元 0.25 美元。典型工作负载下其成本比 Fable 5 低约 25%，高度智能体化的工作负载成本最高可降低 45%。基础定价保持不变：输入词元每百万 10 美元，输出词元每百万 50 美元。安全防护方面，Anthropic 对 Fable 5.1 的防护机制进行了改进以减少误报，网络安全领域新版防护的误报拦截数量比此前减少约 60%。Fable 5.1 现在可用于发现软件漏洞，但不会用于开发针对这些漏洞的利用程序。生物学领域，Anthropic 与美国政府合作建立访问计划，允许研究人员利用 Mythos 5.1 的高级生物学能力，并计划近期向科学家开放注册。科学能力落地，合规与数据保留同步升级Anthropic 展示了 Mythos 5.1 在多个领域的成果。分子设计上，Mythos 5.1 利用开源蛋白质设计和折叠工具设计出高亲和力结合剂，在三个靶点上的结合亲和力比 Adaptyv Bio 蛋白质设计竞赛最佳作品高出 10 倍，在 12 个靶点上的命中率接近 50%，而目前蛋白质设计的典型命中率为 10% 至 15%。计算分析领域，Fable 5.1 基于 NASA 麦哲伦任务 30 多年前的雷达图像训练神经网络，绘制出覆盖金星三分之一区域的高分辨率高程地图，分辨率从之前的 10 至 20 公里精细到 2 至 3 公里，高程精度提升 25%。计算生物学领域，Mythos 5.1 通过编写自定义 GPU 内核并缓存中间结果，将七个开源深度学习模型的速度提升最多 2.5 倍，预计可降低 GPU 成本 30% 至 60%。数据保留方面，Anthropic 推出了企业级前沿防护措施（EFS），将零数据保留的隐私保护与先进安全防护结合，客户数据存储在由企业完全控制的云基础设施中，而非 Anthropic 的系统中。EFS 将于今年秋季开始分阶段向企业客户推出，在此之前符合条件的客户可使用零数据保留政策使用 Fable 5.1。合规方面，Anthropic 已于 2026 年 7 月签署欧盟《人工智能法案》关于 AI 生成内容透明度的实践准则，根据该法案要求，自 2026 年 8 月 2 日之后发布的模型输出需添加不可见水印。Fable 5.1 已为生成的文本加入这种不可见水印，该水印对未持有检测 API 的用户不可见，不影响输出质量，也不包含用户或其对话的任何信息。Anthropic 正以私人预览形式推出检测 API，监管机构、执法部门、媒体、事实核查机构等符合条件的机构可根据欧盟法律要求使用。Claude Fable 5.1 现已登陆所有平台，包括 Amazon Web Services、Google Cloud 和 Microsoft Azure，开发者可通过 Claude API 使用；Claude Mythos 5.1 目前仅面向经审核的美国组织提供。

AI资讯AI新闻资讯正文Perplexity 上线“混合计算”：敏感数据交给本地模型，隐私、成本由你说了算发布于AI新闻资讯发布时间 :2026年9月2号 10:23阅读 :1分钟Perplexity 宣布推出一项名为 Hybrid Compute（混合计算）的新功能，允许用户把一项任务同时拆分给云端前沿模型和本地大语言模型处理——其中敏感信息交给本地模型，确保相关数据始终安全地留在用户自己的设备中。上传即检测敏感内容，本地模型一键安装Perplexity Mac 产品负责人 Jon Staff 介绍，这项功能直接集成在 Mac 应用中：“每当你尝试上传文件或发送信息时，系统都会自动检查其中是否包含敏感内容，并确认你是否愿意将这些数据分享至云端。”为此，Perplexity 还训练了一种新的隐私分类器，能够自动建议用户应当保留在电脑本地的文件和信息。在任务正式分配给不同模型之前，用户可以先查看系统准备隔离、留在本地的文件，确认没有遗漏重要内容，并自行决定由哪些模型来完成任务。目前可用的本地模型包括 Gemma E4B，以及两个版本的 Qwen 3.6 模型，其中两个 Qwen 3.6 版本均拥有 350 亿参数，且其中一个经过 Perplexity 的后训练。公司表示未来还会提供更多本地模型。无论选哪一种，安装过程都不需要打开 Mac 终端，由 Perplexity 应用自动完成。运行期间，用户可以看到本地 CPU、GPU 和内存使用情况的可视化信息，侧栏则显示任务已消耗的令牌数量；本地模型生成的令牌不产生费用，结果产出后仍可继续输入后续指令，也能通过 iPhone 将任务加入队列。云端更强但更贵，这是一条“可调节的尺度”当被问及是否将混合计算的结果与纯云端方案做过基准测试时，Staff 坦言：“简短来说，如果只看原始产物的生成质量，完全使用前沿模型的输出几乎总是更好。它的成本更高，但能力也更强。”不过他补充说，并非所有用户都需要最先进、最强大的模型来完成工作，在这类情况下，数据隐私和成本可能比模型能力更重要。“我认为这应该是一条可调节的尺度……我们会根据掌握的上下文，尝试推荐最合适的方案，但最终仍应由用户决定哪种解决方案最符合自身需求。”Staff 表示。目前，Hybrid Compute 仅适用于搭载 Apple Silicon 芯片、运行 macOS 15 的 Mac 电脑，Perplexity 建议设备至少配备 32GB 统一内存。该功能面向 Pro 和 Max 订阅用户以及企业客户开放。

Hy4 preview – 腾讯混元开源的新一代旗舰大模型AI工具5天前发布AI小集04Hy4 preview是什么Hy4 preview 是腾讯混元推出的开源旗舰大模型，总参数 770B、激活参数 49B、上下文长度达 1M。模型通过与腾讯内部软工、游戏、金融、安全等领域专家深度共建，模型在代码开发、办公分析、游戏制作、科学研究等真实生产力任务上表现卓越，在多项权威基准测试和 203 个工程任务盲测中稳居开源模型第一梯队。科研领域更在分子动力学模拟、量子器件设计及百年几何难题上取得实质性突破。Hy4 preview的主要功能软件工程：增强长程开发任务的理解、规划、调试与验证能力，进一步提升前端开发的视觉审美和交互质量。办公分析：显著提升复杂办公环境理解和金融分析能力，完成从信息处理到文档、表格与演示文稿交付的完整流程。游戏开发：增强一句需求直接生成可玩原型能力，熟练使用游戏引擎，支持多轮交互持续完善复杂游戏项目。科学研究：显著提升复杂科研问题的理解、推理与求解能力，在AI研发、分子动力学模拟、凝聚态物理、基础数学等场景中均有长足进步。推理优化：自主分析推理系统瓶颈，围绕算子融合、通信优化等方向开展多轮优化，端到端吞吐相较基线提升31.8%。实验协调：像研究者一样管理多个Codex Session开展实验，在8项评测上均优于Codex独立探索，体现复杂研发任务中判断方向、组织实验与持续迭代的能力。Hy4 preview的技术原理软件工程：Hy4 preview 显著增强了长程开发任务的理解、规划、调试与验证能力，在大型项目的前端开发中，能主动提升视觉审美和交互质量，生成的代码在真实工程环境中可直接运行并持续迭代。办公分析：模型通过与金融领域专家的高质量数据共建，显著提升对复杂办公环境的理解能力，能处理跨文件协作、数据分析等任务，完成从原始信息处理到最终文档、表格与演示文稿交付的完整办公流程，如自动审核 24 张报销单并交叉比对制度文件。游戏开发：Hy4 preview 具备”一句话生成可玩原型”的能力，能熟练使用 Unreal 5、Unity 等主流游戏引擎，开发者可通过多轮自然语言交互持续完善复杂游戏项目，涵盖场景搭建、玩法逻辑、角色动画混合树及音效系统等完整开发链路。科学研究：在科研场景中，模型展现出复杂问题的深度理解、推理与求解能力，配合 Hyra 智能体在机器学习力场分子动力学模拟中提速 2.0 倍、在低温量子输运器件设计中将泄漏率从 48.2% 降至 4.8%，在百年经典几何难题 3D Blaschke-Lebesgue 问题上将体积下界推进至 0.41104。推理优化：Hy4 preview 能自主分析推理系统的性能瓶颈，围绕算子融合、通信优化等方向开展多轮迭代优化，端到端服务吞吐相较基线提升 31.8%，在不同上下文长度和并发度下均取得稳定收益，验证模型自主定位瓶颈并持续优化基础设施的能力。微信关注回复“开源”，加入AI开源项目交流群如何使用Hy4 preview开源下载：通过 HuggingFace、GitHub、ModelScope 或 GitCode 获取模型权重与代码，支持本地部署与二次开发。API 调用：接入腾讯云 TokenHub 或OpenRouter，按输入 6 元/百万 Tokens、输出 18 元/百万 Tokens 的定价直接调用模型接口。产品体验：在WorkBuddy、CodeBuddy、元宝、ima等腾讯系产品中直接体验 Hy4 preview 的办公与编程能力。在线试玩：访问模型在线体验网址 https://aistudio.tencent.com/，无需配置环境即可在线与模型交互。Hy4 preview的核心优势规模领先：总参数 770B、激活参数 49B、上下文长度 1M，在模型尺寸与长文本处理能力上稳居开源模型第一梯队。真实生产力导向：与腾讯内部软工、游戏、金融、安全等领域顶尖专家深度共建，聚焦代码、办公、游戏等真实场景而非单纯刷榜。科研突破能力：配合 Hyra 在分子动力学模拟提速 2.0 倍、量子器件泄漏率降至 4.8%，并将百年几何难题 3D Blaschke-Lebesgue 的体积下界推进至 0.41104。自我优化推理：能够自主分析系统瓶颈并围绕算子融合、通信优化持续迭代，端到端服务吞吐相较基线提升 31.8%。智能实验协调：像研究者一样管理多个 Codex Session 并行开展实验，在小模型后训练任务中 8 项评测均优于 Codex 独立探索。专家盲测领先：163 名内部专家在 203 个工程任务盲测中，Hy4 preview 均分 2.99/4.00，略优于 GLM-5.3 和 Kimi K3。Hy4 preview的项目地址项目官网：https://hy.tencent.com/research/hy4-previewGitHub仓库：https://github.com/Tencent-Hunyuan/Hy4-previewHuggingFace模型库：https://huggingface.co/tencent/Hy4-previewHy4 preview的同类竞品对比对比维度Hy4 previewDeepSeek-V4 Pro总参数 / 激活参数770B / 49B约 671B / 37B上下文长度1M128K模型架构MoE（混合专家）MoE（混合专家）开源状态全面开源（权重+代码）开源权重，推理代码开源核心定位真实生产力（代码、办公、游戏、科研）通用推理与代码科研能力配合 Hyra 在分子动力学、量子器件、数学证明取得突破强通用推理，科研工具链需自行搭建产品协同深度集成 WorkBuddy、CodeBuddy、元宝、ima主要依赖第三方集成与自部署API 定价（输入/输出）6元 / 18元（每百万 Tokens）约 2元 / 8元（每百万 Tokens）内部盲测表现均分 2.99/4.00，略优于 GLM-5.3 和 Kimi K3基准测试表现优异，但无公开同类工程盲测Hy4 preview的应用场景智能代码开发：支持长程项目理解、前端视觉审美优化、调试验证，可配合 CodeBuddy 完成从需求到可运行代码的全流程开发。复杂办公自动化：处理跨文件数据分析、金融稽核、制度比对，自动生成文档、表格与演示文稿，已在 WorkBuddy 等办公产品中落地。游戏原型快速构建：一句自然语言需求即可生成可玩原型，熟练使用 Unity / Unreal 5 引擎，支持多轮交互持续完善关卡、角色与玩法。科学研究加速：配合 Hyra 智能体开展分子动力学模拟、量子器件设计、数学定理证明，自主管理实验流程并持续迭代优化方向。3D 数字内容生成：基于精确参数生成交互式 Three.js 网站、数字孪生场景，支持 GLB 模型加载、程序化建模与多语言响应式部署。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇Gemini Omni 1.1 Flash - 谷歌推出的 AI 视频生成模型下一篇2026 年 AI 生成图文店门头效果图 - 7 款工具深度横评相关文章GLM-5 – 智谱开源的新一代旗舰AI模型，媲美 Opus 4.5AI小集3灵犀 X2 – 智元机器人推出的最新双足人形机器人AI小集4OxyGent – 京东零售开源的多智能体协作框架AI小集3Elicit – 研究学者的AI助手，智能文献搜索自动总结AI小集2COVE – AI协作平台，支持在共享空间中实时编辑和构建想法AI小集3Mistral Small 3.1 – Mistral AI 开源的多模态 AI 模型AI小集3暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀Lovart美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录Agent.SpaceQwenWorkDeepSkillAlphaVowXCellMetaDig最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！13小时前WeMM-Embedding – 腾讯开源通用多模态Embedding模型21小时前FireRedAudio – 小红书 FireRed 推出的通用音频语言模型21小时前MiniMax H3 Max – MiniMax 推出的实时视频生成模型2天前Ling-3.0-flash-Fin – 蚂蚁百灵推出的首个金融增强模型2天前AI 技能成千上万怎么选？DeepSkill 精准搜索实战2天前Rome – 开源的智能体操作系统，自然语言生成完整应用3天前Headlong – Laude Institute 开源的 AI Agent 微框架3天前Miya – 时域科技推出的 AI 音乐应用，画面可随歌词律动4天前Zing-0.5 – Loopit 开源的实时交互视频世界模型4天前2026 年 AI 生成图文店门头效果图 – 7 款工具深度横评5天前Gemini Omni 1.1 Flash – 谷歌推出的 AI 视频生成模型5天前Twoo – 双人共用 AI 伙伴应用，能同时听懂双方对话5天前Prime Agent – Prime Intellect开源的长周期AI Agent运行框架5天前shuohao-skills – 开源AI短剧制作Skill集合，包含完整工作流5天前

GeneralThe Machine Age FundBen Horowitz, Martin Casado, Raghu Raghuram, David Ulevitch, and David GeorgePosted August 28, 2026SubscribeShareShareEmailXLinkedInFacebookHacker NewsWhatsAppFlipboardRedditShareShareEmailXLinkedInFacebookHacker NewsWhatsAppFlipboardRedditWe’ve raised$1.1B for a16z’s newest fund: the Machine Age Fund. It’s time to open the throttle and accelerate the physical buildout of AI: the strongest tool ever developed for solving problems and bestowing abundance. It is our social and national imperative.For anyone paying attention, this shouldn’t be a surprise. We’re seeing an upward inflection point in utility and variety of work that AI can do, just over the past year. And as we evolve from chat to reasoning to coding and other forms of knowledge work, both the demand for work and the token intensity of the work increase by orders of magnitude. Machine intelligence is going vertical.This fund will invest into all of the computer infrastructure on which AI runs, including chips, memory, networking, and storage. It also includes full systems for running AI: from data centers to robotics to home AI appliances. The common thread among all of these layers of the AI stack is that they areallhitting the wall of today’s supply chain capability, and the limits of physics and computer science. So there is an urgent need for innovation and investment, and a once-in-a-generation opportunity to rearchitect them as platforms, all the way down to the electricity.Reinventions like this happen at each epoch of compute, from the shift from mainframe to client server, to the Internet, cloud and mobile. However, what is different this time is the magnitude and breadth of change needed to keep up with demand, and the speed required to do so. Everything needs an upgrade, now:Compute density per rack increased by 28X from an H100 rack to a Rubin rack.Networking within a rack has grown similarly, hitting the limits of copper cablingRack power moved from roughly 5-10 kW to100-250 kWto support today’s systems and will increase to 1MW over the next 3 years.Data center scale is moving from tens to hundreds of MW and, in some cases, GW-scale campuses.Power is increasingly supplied not only from grid-only to grid plus behind-the-meter or captive sources.We need faster, more efficient systems. We need cheaper and higher-bandwidth memory across the memory hierarchy. We need faster and more scalable interconnects between nodes and systems. We need power efficient edge devices for AI to explore and interact with the world. And of course we need all the cooling, materials, electrical, and real estate build out to support them. The hardware industry supply side is used to growing 20% to 30% per year at most; not the triple-digit growth that’s needed to catch up with demand. This will change, quickly.Founders understand the opportunity. Over the last couple of yearswe’ve seen hardware startups grow from a small amount of deal flow to now over 20%.While we at a16z are generally known as software investors, we have always paid attention to hardware. Recently we’ve backed a number of hardware companies including Unconventional AI, Nexthop, Volta, Atoms, Heron Power and Mind Robotics. And we have selectively invested in hardware companies since our earliest days. In 2016, we led the series A in Skydio; we invested in SpaceX; we wrote our first check into Anduril in 2019, and were among the first venture investors in Waymo’s 2020 raise.Hardware is in our team DNA, and it’s great to get back to our roots. Guido Appenzeller was the CTO for Intel’s Data Center Group (DPG). Raghu Raghuram and Martin Casado spent multiple decades in the data center space with system software, much of which required deep hardware partnership. Shangda Xu and David George have led investments across the AI infrastructure stack, from silicon and networking to large-scale systems and compute platforms. David Ulevitch and Erin Price-Wright lead many of the firm’s hardware and U.S. manufacturing investments through our American Dynamism practice.We’re excited to make hardware an official motion for a16z and announce the Machine Age Fund to support it. Our GTM, talent, and marketing machine that we’ve built at a16z is now ready to serve hardware founders. And the a16z network has exceptional access to customers, suppliers, and everybody else that’s relevant, for a new age of hardware reinvention.Ambitious founders who are reinventing AI hardware and founding the machine age, please reach out. We’re ready for you.About the ContributorsBen HorowitzXLinkedinis a cofounder and general partner at the venture capital firm Andreessen Horowitz.More From These ContributorsXLinkedinExpanding the a16z Growth Fund and PlatformDavid George and Raghu RaghuramOpenRouter & Stripe: The Intelligence NetworkMartin CasadoCursor + SpaceXAI: the fastest iterating team winsSarah Wang, Matt Bornstein, and Martin CasadoInvesting in ValsJennifer Li, Yoko Li, Raghu Raghura

Ling 3.0 Flash – 蚂蚁百灵推出的轻量级 MoE 推理模型AI工具2周前更新AI小集02Ling 3.0 Flash是什么Ling-3.0-Flash 是蚂蚁集团百灵大模型推出的轻量级 MoE 推理模型，总参数量 124B、每 token 激活 5.1B 参数，支持 256K 超长上下文与思考/非思考双模式。模型专为高频 Agent 工作流、编码 Agent、文档处理及长上下文多轮对话设计，强调在有限 token、延迟和成本预算内完成更多有效工作，实现生产级 token 高效推理。其对应的开源底座 Ling-3.0-flash-base（124B 总参 / 5.1B 激活）保留了原始预训练能力，为面向大型代码库、多步推理及专业领域 Agent 任务的持续训练与拓展提供了开放起点。Ling 3.0 Flash的主要功能双模式推理：支持 thinking（深度思考）与 non-thinking（快速响应）两种模式，灵活切换推理深度与响应速度。超长上下文处理：支持256K token 上下文窗口，可一次性处理长文档、多轮对话及复杂代码库。Agent 工作流支持：原生适配多步 Agent 运行，支持工具调用与隐式缓存，提升任务执行效率。Token 高效推理：MoE 架构仅激活 5.1B 参数，在保持性能的同时显著降低推理成本与延迟。统一 API 接入：通过 Vercel AI Gateway 一键调用，支持流式输出与多提供商路由。Ling 3.0 Flash的技术原理混合专家架构（MoE）：采用稀疏激活的 Mixture-of-Experts 架构，总参数量达 124B，但每 token 仅激活约 5.1B 参数。通过门控网络动态路由输入至特定专家子网络，在保持大模型表达能力的同时大幅降低计算开销与推理成本，实现参数规模与推理效率的解耦。双模式推理机制：内置 thinking 与 non-thinking 两种推理路径。Non-thinking 模式直接输出结果，适用高频、低延迟场景；Thinking 模式激活深度推理链，通过多步内部思考提升复杂任务准确率。两种模式共享底层参数，通过控制信号切换，无需加载独立模型。超长上下文建模：支持 256K token 上下文窗口，采用优化的位置编码与注意力机制处理超长序列。结合隐式缓存策略，在多轮 Agent 交互中复用历史计算的 KV 缓存，避免重复编码，显著降低长对话与多步任务的整体延迟。Token 高效 Agent 推理：针对 Agent 工作流优化推理路径，在严格限制的 token、延迟与成本预算内完成多步工具调用与决策。通过压缩中间表示、精简推理步骤，确保高频 Agent 场景下的响应速度与经济性，实现生产级规模的可持续部署。如何使用Ling 3.0 Flash通过 Hugging Face 获取权重：访问 https://huggingface.co/inclusionAI/Ling-3.0-flash 下载模型权重文件，模型采用 MIT 许可证可自由商用。用 SGLang 部署服务：参考官方 SGLang 部署说明配置推理环境，集成 HiCache 缓存架构以降低长任务首 Token 延迟。用 vLLM 部署服务：按官方 vLLM 部署文档搭建兼容 OpenAI 接口的 API 服务，便于接入现有应用生态。Ling 3.0 Flash的核心优势延迟优化：专为高频场景设计，P50 首 token 延迟与吞吐量表现优异。生产级稳定：支持自动重试、故障转移与高于单一提供商的可用性保障。隐私合规：内置 Zero Data Retention（零数据保留）支持，满足企业安全要求。生态兼容：完美接入 Vercel 开发生态，与现有 AI SDK 无缝集成。Ling 3.0 Flash的项目地址HuggingFace模型库：https://huggingface.co/inclusionAI/Ling-3.0-flashhttps://huggingface.co/inclusionAI/Ling-3.0-flash-baseLing 3.0 Flash的同类竞品对比维度Ling-3.0-FlashGPT-4o-mini架构MoE（124B/5.1B 激活）Dense上下文256K128K定位Agent 推理、代码、长文档通用轻量对话成本策略限时免费后按量计费按量付费接入方式Vercel AI GatewayOpenAI API特色双模式推理、隐式缓存多模态输入Ling 3.0 Flash的应用场景智能客服 Agent：基于 256K 上下文记忆用户历史，执行多轮复杂咨询与工单处理。代码辅助开发：快速理解大型代码库，生成、重构与审查代码，支持 thinking 模式深度 debug。长文档分析：一次性处理论文、财报、法律合同等超长文本，提取关键信息与生成摘要。自动化办公流：连接日历、邮件与文档工具，自动完成日程安排、邮件起草与数据整理。实时搜索增强：结合 Web Search 能力，执行多步信息检索、交叉验证与结构化报告生成。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇MAI-Voice-2-Flash - 微软推出的高速语音合成模型下一篇BigMac - 小红书开源的多模态大模型流水并行训练框架相关文章Engram – DeepSeek联合北大推出的条件记忆模块AI小集2言笔AI写作 – AI写作工具，一键生成原创文章的全能写作工具AI小集3SRPO – 腾讯混元推出的文生图模型AI小集3MAGI-2-preview – Sand.ai 开源的多模态视频生成模型AI小集2Veo 3.1 – 谷歌推出的AI视频生成模型AI小集3ChatUI – 阿里推出的开源智能对话式 UI 组件库AI小集3暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀Lovart美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录Agent.SpaceQwenWorkDeepSkillAlphaVowXCellMetaDig最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！14小时前WeMM-Embedding – 腾讯开源通用多模态Embedding模型21小时前FireRedAudio – 小红书 FireRed 推出的通用音频语言模型21小时前MiniMax H3 Max – MiniMax 推出的实时视频生成模型2天前Ling-3.0-flash-Fin – 蚂蚁百灵推出的首个金融增强模型2天前AI 技能成千上万怎么选？DeepSkill 精准搜索实战2天前Rome – 开源的智能体操作系统，自然语言生成完整应用3天前Headlong – Laude Institute 开源的 AI Agent 微框架3天前Miya – 时域科技推出的 AI 音乐应用，画面可随歌词律动4天前Zing-0.5 – Loopit 开源的实时交互视频世界模型4天前2026 年 AI 生成图文店门头效果图 – 7 款工具深度横评5天前Hy4 preview – 腾讯混元开源的新一代旗舰大模型5天前Gemini Omni 1.1 Flash – 谷歌推出的 AI 视频生成模型5天前Twoo – 双人共用 AI 伙伴应用，能同时听懂双方对话5天前Prime Agent – Prime Intellect开源的长周期AI Agent运行框架5天前

Ling-3.0-flash-Fin – 蚂蚁百灵推出的首个金融增强模型AI工具2天前发布AI小集02Ling-3.0-flash-Fin是什么Ling-3.0-flash-Fin是蚂蚁百灵推出的首个金融增强模型，基于Ling-3.0-flash架构（124B总参数/5.1B激活参数），面向真实金融工作流。模型通过金融语料预训练与工具优化，强化信息检索、研究推理、估值建模与研报撰写能力，可处理年报、财务工作簿等复杂内容。在FinFIRST等金融智能体基准上表现突出，同等尺寸中竞争力强。Ling-3.0-flash-Fin的主要功能信息检索：优先定位官方、一手及高可信金融资料，确保信源权威、时点准确、口径一致且结论可追溯。研究推理：综合跨文档、多口径信息，通过多步分析与计算构建完整严谨的证据链，形成可复核的研究判断。估值建模：理解复杂财务勾稽关系，自动读取并更新包含数千公式的 Excel 财务模型，处理实际值覆盖、跨表依赖与图表同步。研报撰写：从高密度材料中识别核心命题，组织数据、分析与图表形成”事实—解释—判断”的专业叙事与可视化交付物。Ling-3.0-flash-Fin的技术原理MoE 架构继承：延续 Ling-3.0-flash 的模型架构与长上下文能力，保持 124B 总参数 / 5.1B 激活参数的稀疏激活配置，兼顾性能与部署效率。金融语料持续预训练：在通用底座基础上，引入大规模高质量金融领域数据进行持续训练，强化对年报、财务工作簿、研究材料等专业内容的理解。领域后训练对齐：联合国内一线金融机构与行业专家，从任务定义、数据体系、训练方法到评测标准深度参与，使模型对齐金融行业的专业方法、分析逻辑与合规要求。工具使用优化：针对金融工作流优化工具调用能力，在 ReAct 智能体框架下协同使用 Web Search、Visit、Python 等工具，实现检索、计算、建模与文档编辑的端到端闭环。通用与专业协同提升：金融领域能力增强的同时，通过训练优化使通用智能指数（AA Intelligence Index）从 38 分提升至 41 分，实现专业能力强化与通用能力巩固的平衡。如何使用Ling-3.0-flash-FinOpenRouter免费 API 体验：访问：https://openrouter.ai/inclusionai/ling-3.0-flash-fin:free#providers，为期一个月的限时免费 API 调用。本地部署（即将开放）：模型权重将于下周正式开源。开源后可下载权重进行本地化部署与二次开发。Ling-3.0-flash-Fin的核心优势高效 MoE 架构：124B 总参数 / 5.1B 激活参数，以较小激活量实现接近大尺寸旗舰模型的金融任务表现，兼顾性能与部署成本。真实工作流闭环：将信息检索、研究推理、估值建模、研报撰写整合为端到端任务链，直接交付可编辑、可复核的研究成果。信源权威可追溯：擅长优先定位官方、一手及高可信资料，在 FinFIRST 评测的来源选择维度得分 84.65，确保数据时点准确、口径一致、结论可回溯。专业与通用协同提升：金融能力增强的同时，通用智能指数（AA Intelligence Index）从 38 分提升至 41 分，避免”偏科”。产业深度共建：蚂蚁联合中金等一线金融机构与 50 余名金融专业人士参与模型建设与评测基准设计，贴合真实业务需求。Ling-3.0-flash-Fin的同类竞品对比对比维度Ling-3.0-flash-FinBloomberg GPT研发背景蚂蚁百灵 × 国内一线金融机构（如中金）联合共建Bloomberg 自建，基于自有金融终端数据模型架构MoE 架构，124B 总参数 / 5.1B 激活参数500B 参数（Dense 架构，未公开激活参数）开源策略下周正式开源，OpenRouter 限时免费 API完全闭源，仅限 Bloomberg Terminal 内部使用核心能力端到端工作流（检索→推理→建模→研报→交付可编辑文件）金融 NLP 任务（情感分析、命名实体识别、问答等）工具协同支持 ReAct 智能体框架，调用搜索/Python/表格工具完成多步任务主要作为文本生成与理解模型，不强调外部工具链闭环中文能力原生中文金融语料训练，深度适配国内财报与合规语境以英文金融数据为主，中文覆盖有限Ling-3.0-flash-Fin的应用场景投研信息检索与溯源：分析师输入研究问题，模型自动检索权威信源，辨析数据口径，追溯关键结论至原始资料，生成带引用的研究底稿。财务模型自动更新：财报季期间，模型读取公司最新季报与存量 Excel 估值模型，自动将预测值替换为实际值，同步跨表依赖、检查循环引用并更新 Summary 图表。复杂交易结构分析：在 LBO、并购等投行场景中，模型沿经营费用→EBITDA→自由现金流→债务偿还→IRR 梳理公式依赖，完成多情景回报测算与敏感性分析，输出可编辑工作簿。专业研报自动生成：基于分散的研究材料，模型识别核心命题，构建”事实—解释—判断—图表”证据链，生成包含可视化图表、叙事结构与专业表达的研究报告初稿。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇AI 技能成千上万怎么选？DeepSkill 精准搜索实战下一篇MiniMax H3 Max - MiniMax 推出的实时视频生成模型相关文章Indic Parler-TTS – 开源多语言TTS模型，专注于合成印度语和英语AI小集2Kuse AI – AI画布工具，提供无限画布自由组织信息AI小集3Composer 2.5 – Cursor 推出的自研 Agentic 编程模型AI小集2Kineto – JetBrains 推出的零代码AI应用构建平台AI小集3PodClips – AI视频剪辑工具，将播客内容自动转为短视频AI小集2Amodal3R – 南洋理工联合牛津等推出的条件式 3D 生成模型AI小集2暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀Lovart美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录Agent.SpaceQwenWorkDeepSkillAlphaVowXCellMetaDig最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！13小时前WeMM-Embedding – 腾讯开源通用多模态Embedding模型21小时前FireRedAudio – 小红书 FireRed 推出的通用音频语言模型21小时前MiniMax H3 Max – MiniMax 推出的实时视频生成模型2天前AI 技能成千上万怎么选？DeepSkill 精准搜索实战2天前Rome – 开源的智能体操作系统，自然语言生成完整应用3天前Headlong – Laude Institute 开源的 AI Agent 微框架3天前Miya – 时域科技推出的 AI 音乐应用，画面可随歌词律动4天前Zing-0.5 – Loopit 开源的实时交互视频世界模型4天前2026 年 AI 生成图文店门头效果图 – 7 款工具深度横评5天前Hy4 preview – 腾讯混元开源的新一代旗舰大模型5天前Gemini Omni 1.1 Flash – 谷歌推出的 AI 视频生成模型5天前Twoo – 双人共用 AI 伙伴应用，能同时听懂双方对话5天前Prime Agent – Prime Intellect开源的长周期AI Agent运行框架5天前shuohao-skills – 开源AI短剧制作Skill集合，包含完整工作流5天前

Zing-0.5 – Loopit 开源的实时交互视频世界模型AI工具4天前更新AI小集02Zing-0.5是什么Zing-0.5 是Loopit开源的实时交互视频世界模型，5B 参数，基座为 Wan2.2-TI2V-5B，采用 Apache 2.0 协议。核心能力是”联合控制”，键盘空间操作与自然语言语义改写两条链路共同进入 Causal DiT，用户可一边操控角色移动，一边随时用文字改写正在发生的世界，新指令会进入当前世界而非重置场景。模型通过训练中途切换 Prompt 学会”边玩边改”，主动扰动历史画面以抗误差累积。单卡 RTX 5090 可超 24 FPS 实时生成，一分钟流式推理成本约 6 分钱，在美团 LongCat 与复旦联合的 WBench 评测中位列实时世界模型第一。Zing-0.5的主要功能联合控制：键盘空间操作（W/A/S/D 移动 + I/J/K/L 视角）与自然语言语义改写共同作用，一边操控移动一边用文字改变世界，新指令进入当前世界而非替换场景。实时流式生成：单卡 RTX 5090 超过 24 FPS，一分钟推理成本约 6 分钱，支持无限长时序连续生成。中途语义改写：可在生成进行中随时插入文字指令（如”暴风雪””龙喷火”），模型保留视觉与操作历史，让改写发生在当前世界中。多对象同时响应：一条指令可同时驱动多个不同对象变化（如人物跪地祈祷 + 多座雕像睁眼发光）。长程一致性：角色外观、场景结构、画风（如像素风格）在持续生成中保持稳定，不漂移、不换画风。抗误差累积：训练中主动扰动历史画面，模型学会”接住自己的错误”，长时间生成不越走越偏。动作控制：8 维连续动作信号（取值 [0,1]），支持前进/后退/左右移动与四向视角变化，编码为逐帧 action residual。本地部署：5B 参数单卡可跑，Linux + PyTorch 环境，80GB+ 显存或滑窗注意力配置（RTX 4090 级别亦可），输出 H.264 MP4。开源免费：Apache 2.0 协议，代码与权重在 GitHub、ModelScope、HuggingFace 开放，基于 Wan2.2-TI2V-5B 训练。Zing-0.5的技术原理基座模型：基于 Wan2.2-TI2V-5B 训练，5B 参数量级，核心生成网络为 Causal DiT（因果扩散 Transformer），配合因果 KV 缓存支持无限长时序自回归推演。双控制链路架构：两条独立但共同进入 Causal DiT 的控制通道——空间操作走”动作链”，语义改写走”文本链”，二者共同决定接下来生成的内容。动作链（action residual）：W/A/S/D 移动 + I/J/K/L 视角构成 8 维连续动作信号（取值 [0,1]），经 sin/cos 编码与因果时序卷积（不足 10M 参数）转化为逐帧 action residual，与对应视频 token 逐帧对齐后注入生成。文本链（cross-attention）：自然语言指令经语言模型编码为 language tokens，通过 cross-attention 写入当前生成，实现中途语义改写。两链解耦、持续并行：文本条件改变时动作链路不中断，因此能实现”巨龙一边按原方向飞行一边喷火”这类边操作边改写的效果。训练即学会”中途改写”：训练时在自回归生成中途切换 Prompt，保留已生成的视觉历史与操作历史，用新文本条件预测后续，改写能力是训练出来的原生能力，而非推理时拼接的后加功能。抗误差累积训练：自回归生成的”历史”是模型自己的输出，误差会累积；Zing-0.5 在训练中主动扰动部分历史画面（加噪声、轻微模糊、颜色偏移、视角变化）模拟真实误差，训练目标始终保持干净，迫使模型学会从不完美历史中甄别真实状态。纯训练解法，推理零开销：抗累积能力完全内化于权重，在线推理无需额外纠错模型，不增加延迟与算力。四步 DMD 蒸馏采样：将扩散采样压缩至 4 步，是单卡实时（>24 FPS）与低成本（约 6 分钱/分钟）的关键。滑窗注意力适配显存：80GB+ 显存用–local-attn-size 97 –sink-size 9；RTX 4090 级别用–local-attn-size 33 –sink-size 5，通过局部注意力 + sink token 在有限显存内维持长上下文。输出管线：视频帧经 patch embedding 成 token 进入 Causal DiT，预测帧解码后输出 H.264 编码的 24 FPS MP4。如何使用Zing-0.5环境准备：准备硬件与系统：Linux 系统 + NVIDIA GPU（建议 80GB+ 显存，如 H100/A100；RTX 4090 级别可用滑窗注意力配置），安装基础环境：Python 3.11、PyTorch 2.9、CUDA。获取代码与模型克隆代码仓库：git clone https://github.com/seedleap/zing-world-model.git，进入目录cd zing-world-model。安装依赖：pip install -r requirements.txt。下载模型权重：pip install modelscope，然后执行modelscope download –model seedleap/Zing-0.5 –local_dir ./Zing-0.5。确认目录结构：权重包含generator/model.pt（生成器）和pretrained/（text_encoder、tokenizer、vae）。运行推理文本驱动模式（Action T2V）：执行run.sh，指定–pretrained-dir、–checkpoint、–messages examples/case3_action_t2v.jsonl、输出目录和随机种子。图片初始化模式（Action TI2V）：同样用run.sh，换用examples/case4_action_ti2v.jsonl等图生视频配置。按显存选择注意力参数：80GB+ 加–local-attn-size 97 –sink-size 9；低于 80GB 加–local-attn-size 33 –sink-size 5；完整历史注意力用–local-attn-size -1 –sink-size 0。交互操作键盘操控：W/A/S/D 控制前后左右移动，I/J/K/L 控制视角转动（内部为 8 维连续向量，取值 [0,1]）。中途语义改写：在生成进行中输入自然语言指令（如”暴风雪””龙嘴巴喷火”），世界实时响应且场景不被重置。查看输出：生成结果为 H.264 编码的 24 FPS MP4 文件，保存在指定的–output-dir目录。零部署体验（可选）：不想本地部署可等官方产品：对应功能预计两周内上线 Loopit APP 海外版，直接在 App 中体验实时互动世界。Zing-0.5的核心优势实时榜第一的硬实力：WBench 评测平均分 81.0，总榜第二仅次于一個非实时的双向模型，实时世界模型榜第一。“边玩边改”独一档：多数实时世界模型只支持”探索场景”，Zing-0.5 是少数能边操控移动边用文字中途改写世界的模型，联合控制是核心差异化。改写不换世界：新指令精准写入当前世界，只改该改的（加暴风雪、让龙喷火），不该动的（角色、画风、远处场景）纹丝不动，同类模型常”顺手换掉整个世界”。长时序不跑偏：训练中主动扰动历史画面让模型学会纠错，长时间生成角色外观、场景结构保持稳定；且是纯训练阶段解法，推理时无需额外纠错模型，不增延迟。成本与门槛双低：5B 参数单卡部署，单张 RTX 5090 超 24 FPS，一分钟流式推理仅约 6 分钱，消费级显卡即可实时交互。架构轻量优雅：动作控制链路不足 10M 参数（sin/cos 编码 + 因果卷积 → 逐帧 action residual），双控制链共同进入 Causal DiT，设计简洁高效。真开源：Apache 2.0 协议，代码 + 权重 + 部署文档全套开放，商用无门槛，基座 Wan2.2-TI2V-5B 成熟可靠。Zing-0.5的项目地址Github仓库：https://github.com/seedleap/zing-world-modelHuggingFace模型库：https://huggingface.co/seedleap/zing-0.5ModelScope：https://modelscope.cn/models/seedleap/Zing-0.5Zing-0.5的同类竞品对比对比项Zing-0.5（Loopit/SeedLeap）HiDream-O1-World（HiDream.ai）LingBot-World v2（蚂蚁集团）WBench 总排名第 2（实时榜第 1）第 3第 5综合平均分81.080.979.4画面质量（Quality）80.681.0（三者最高）81.8（三者最高）场景设定（Setting）77.882.276.8交互能力（Interaction）84.2（三者最高）80.082.8一致性（Consistency）88.5（三者最高）88.086.5物理规律（Physical）73.8（三者最高）73.369.1实时性实时（单卡 5090 超 24 FPS）未标注实时标签标注 “fast”（快速）交互类型action + 文本联合控制（可中途改写世界）动作控制动作控制参数规模5B（基座 Wan2.2-TI2V-5B）未公开未公开开源情况开源（Apache 2.0，代码+权重）未标注开源开源核心特点边操控边文字改写世界，新指令进入当前世界不重置场景画面质量与场景设定最强速度快，交互能力较好推理成本约 6 分钱/分钟流式生成未公开未公开产品落地2 周内上线 Loopit APP 海外版——Zing-0.5的应用场景AI 互动娱乐／AI 游戏：玩家用键盘操控角色在生成世界中探索，随时用语言改写剧情与环境（如下雪、召唤怪物），实现”人人可玩的生成式游戏”。“可以玩的抖音”式内容消费：短视频从”看”变成”玩”，每个用户在同一段内容里玩出不同走向，改写内容平台形态。UGC 互动内容创作：创作者生成可交互视频世界供粉丝体验，观众不再是旁观者而是参与者，衍生全新内容品类。游戏原型快速验证：游戏团队无需搭建引擎场景，用世界模型快速生成可交互 Demo，低成本验证玩法与关卡创意。虚拟直播／虚拟主播：主播实时驱动虚拟世界，观众通过弹幕文字参与改写场景与事件，增强直播互动性。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇2026 年 AI 生成图文店门头效果图 - 7 款工具深度横评下一篇Miya - 时域科技推出的 AI 音乐应用，画面可随歌词律动相关文章赞多多 – AI文案生成小程序，创作个性化和场景化朋友圈内容AI小集3OpenClacky – 李亚飞团队开源的低成本 AI AgentAI小集2Optima – 清华联合北邮推出优化通信效率和任务有效性的训练框架AI小集2Vision2Web – 清华联合智谱AI推出的视觉网站开发评估基准AI小集3QA-MDT – 中科大联合科大讯飞推出开源音乐生成模型AI小集3扣子空间 – 字节跳动推出的通用型 AI AgentAI小集66暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀Lovart美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录Agent.SpaceQwenWorkDeepSkillAlphaVowXCellMetaDig最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！13小时前WeMM-Embedding – 腾讯开源通用多模态Embedding模型21小时前FireRedAudio – 小红书 FireRe

FireRedAudio – 小红书 FireRed 推出的通用音频语言模型AI工具21小时前发布AI小集02FireRedAudio是什么FireRedAudio 是小红书 FireRed 团队推出的通用音频语言模型，基于 9B 参数 Qwen3.5 自回归 LLM。模型理解与生成分别使用独立的连续表征通道（Audio Encoder 与 RedAE），再汇入共享 LLM 统一推理。模型同时支持 ASR、音频问答、长达1小时的录音理解、Zero-shot TTS、指令 TTS 及语音编辑，在 MMAU、MMSU、多语种 ASR 和 Instruct TTS 等评测中均取得领先表现。FireRedAudio的主要功能音频理解：在 MMAU、MMSU 等综合音频问答评测中取得表内最佳成绩，覆盖语音、音乐与环境声理解。多语种 ASR：支持 102 种语言识别，FLEURS-102 平均错误率 14.94%，低资源语种表现尤为突出。Zero-shot TTS：给定任意参考语音即可合成新内容，中英文内容准确率表内领先。Instruct TTS：遵循”用更慢的语速朗读”等自然语言指令，六项评测指标全部领跑。语音编辑：支持语义层面的删除/插入/替换，以及声学层面的变速/变调/变音量。长音频处理：支持最长 1 小时录音，能生成秒级精度的时间线结构化摘要。FireRedAudio的技术原理解耦连续表征：FireRedAudio 的不强迫理解与生成共享同一种音频表示，为两者分别设计独立的连续向量通道：理解侧需要紧凑语义特征以支持长上下文建模，生成侧需要可重建的精细声学特征以保留音色与韵律，两者在共享 LLM 中完成统一推理。理解路径：音频由 Whisper-large-v3 初始化的 Audio Encoder 编码，经 Adapter 压缩为每秒 12.5 个连续表征后输入 9B LLM，直接输出识别文本或理解答案，适配 ASR、音频问答与长音频结构化任务。生成路径：条件音频先经 RedAE（确定性自编码器）压缩为 25Hz、64 维连续 latent，预训练时通过冻结教师编码器进行语义蒸馏以保留内容线索；由 Patch Encoder 每 4 帧聚合成一个 audio step（6.25Hz）送入 LLM；LLM 每预测一个 audio-step token，以其隐藏状态驱动 flow-matching DiT 生成新 latent，最终由 RedAE Decoder 还原为 24kHz 波形。五阶段渐进训练：训练依次完成 Adapter 对齐、Audio Encoder 适配、理解与生成联合训练、多任务后训练、以及 200k 长上下文扩展，累计约 2.66T 非填充多模态 token，逐步叠加能力而非一次性混合所有任务。共享推理中枢：9B Qwen3.5 自回归 LLM 作为唯一可训练主干，负责跨模态推理、任务规划与上下文建模；理解与生成仅在输入表征层解耦，在推理层统一，使模型既能”听懂”又能”开口”而不牺牲各侧的信息保真度。微信关注回复“开源”，加入AI开源项目交流群如何使用FireRedAudio环境配置：从 GitHub 仓库阅读环境与依赖安装说明，准备好运行环境。获取权重：从 Hugging Face 官方页面下载模型权重与配置文件。跑通样例：先执行官方提供的最小推理样例，验证模型版本、音频采样率与输出路径。验证理解：分别测试 ASR 和音频问答功能，确认理解路径正常工作。验证生成：分别测试 Zero-shot TTS 和指令 TTS，确认生成路径正常工作。音频格式：生成任务中保持输入输出为 24 kHz 采样率，并记录 DiT 采样步数与显存峰值。TTS 设置：Zero-shot TTS 时，用参考语音的最后两个 audio step 初始化声学历史，其他生成任务使用零初始化。硬件评估：根据 9B 主干权重、KV cache 及 DiT 采样开销评估显存需求，长音频任务需额外预留上下文缓存空间。FireRedAudio的核心优势统一架构：一个 9B 自回归 LLM 同时承载音频理解与生成，避免多模块拼接带来的能力分散。解耦表征：理解与生成分别使用最适合自身的连续表征通道，既保留语义紧凑性又不丢失声学细节。性能领先：在 MMAU、MMSU、102 语种 ASR 及 Instruct TTS 六项指标上均取得表内最佳成绩。长音频支持：通过 200k 上下文扩展，可处理最长 1 小时录音并输出秒级精度结构化时间线。全栈覆盖：单模型支持 ASR、音频问答、Zero-shot TTS、指令 TTS、语义/声学语音编辑六大任务。FireRedAudio的项目地址GitHub仓库：https://github.com/FireRedTeam/FireRedAudioHuggingFace模型库：https://huggingface.co/FireRedTeam/FireRedAudioarXiv技术论文：https://arxiv.org/pdf/2608.24168FireRedAudio的同类竞品对比对比维度FireRedAudioQwen3.5-Omni-Plus定位专注音频领域的通用理解与生成模型覆盖文本/图像/音频/视频的全模态通用模型架构9B 自回归 LLM + 解耦连续表征（Audio Encoder / RedAE）更大规模端到端多模态架构，所有模态统一处理理解评测MMAU test 80.9、MMSU 83.3，均为表内最佳MMAU test 79.9、MMSU 80.7，略低于 FireRedAudio多语种 ASRFLEURS-102 平均 WER 14.94%，低资源语种优势显著FLEURS-102 平均 WER 23.66%，多语种覆盖稍弱生成能力支持 Zero-shot TTS、Instruct TTS、语音编辑，DiT 输出 24kHz 波形支持语音合成与理解，但不侧重语音编辑与细粒度声学控制长音频200k 上下文支持 1 小时录音，strict@0 通过率 73.6%具备长音频处理能力，但论文中未展示同量级 1 小时结构化评测FireRedAudio的应用场景智能会议助理：将 1 小时会议录音自动转写为带秒级时间戳的结构化纪要，并提取关键决策与待办事项。多语种内容本地化：输入中文视频，自动识别原声并生成英语、日语等多语种配音，保持原说话人音色与情感风格。播客/有声书后期制作：通过自然语言指令调整语速、音量或替换特定语句，无需重新录制即可完成语音编辑。智能客服语音交互：实时理解用户语音咨询（含环境噪音与口音），并以指定音色、语速生成回复语音，实现端到端语音对话。音频内容审核与检索：对长音频平台的海量内容做结构化理解，支持”找出所有提到价格欺诈的片段”等语义级检索与标注。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇MiniMax H3 Max - MiniMax 推出的实时视频生成模型下一篇WeMM-Embedding - 腾讯开源通用多模态Embedding模型相关文章COVE – AI协作平台，支持在共享空间中实时编辑和构建想法AI小集3Helios – 北大联合字节等开源的实时长视频生成模型AI小集4Mamoda2.5 – 字节跳动推出的统一多模态模型AI小集3Mem0 – 一款开源的大语言模型记忆增强工具AI小集3AI小方 – AI包装设计平台，自动排版配色生成创意灵感包装设计方案AI小集5Steve AI – AI视频生成的平台，支持多模态数据转化为多种视频风格AI小集2暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀Lovart美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录Agent.SpaceQwenWorkDeepSkillAlphaVowXCellMetaDig最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！13小时前WeMM-Embedding – 腾讯开源通用多模态Embedding模型21小时前MiniMax H3 Max – MiniMax 推出的实时视频生成模型2天前Ling-3.0-flash-Fin – 蚂蚁百灵推出的首个金融增强模型2天前AI 技能成千上万怎么选？DeepSkill 精准搜索实战2天前Rome – 开源的智能体操作系统，自然语言生成完整应用3天前Headlong – Laude Institute 开源的 AI Agent 微框架3天前Miya – 时域科技推出的 AI 音乐应用，画面可随歌词律动4天前Zing-0.5 – Loopit 开源的实时交互视频世界模型4天前2026 年 AI 生成图文店门头效果图 – 7 款工具深度横评5天前Hy4 preview – 腾讯混元开源的新一代旗舰大模型5天前Gemini Omni 1.1 Flash – 谷歌推出的 AI 视频生成模型5天前Twoo – 双人共用 AI 伙伴应用，能同时听懂双方对话5天前Prime Agent – Prime Intellect开源的长周期AI Agent运行框架5天前shuohao-skills – 开源AI短剧制作Skill集合，包含完整工作流5天前