FreeToken:把个人电脑当成弹性推理平台,本地跑大型 MoE 模型
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
- 642 星/7日
- 2 引用
- 109 点赞
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
这个 2.0 版本把游戏世界模型的互动时长拉到无限而不掉质量,靠的是精心设计的因果预训练范式;蒸馏出的实时版足以驱动 720p、60 帧的视频流;动作种类也大幅扩展,新增攻击、射箭、施法、射击等,并有更丰富的文本驱动交互元素。
Prime Agent 是一个开源的长程智能体框架:常驻 IPython 会话让模型用代码做测试时计算,历史、记忆、技能和子智能体配置可以跨任务保留,递归子智能体之间直接通信协作,人类还能随时查看和管理后台会话。
这篇报告把“持续、可验证地推进真实工作”作为训练目标:一方面扩大可执行文件、搜索、代码环境的多样性与可验证性(环境扩展),另一方面训练智能体拆解长任务、并行委派、整合异步结果并随时重规划(协同扩展)。
OSWorld 2.0 是 xlang-ai 团队推出的电脑操作智能体基准,用 108 个基于真实文件、带用户状态的长程工作流任务取代此前的短脚本任务,人类完成一道题的中位数约 1.6 小时。结果相当扎心:表现最好的 Claude Opus 4.8 也只能完成 20.6% 的任务,常常在跟踪约束和结果验证上掉链子。
LLM-as-a-Verifier 让 LLM 当验证器:不再问模型“打分还是不打分”,而是直接从打分 token 的 logits 里算期望,得到免训练的连续反馈信号。作者称在 Terminal-Bench V2、SWE-Bench Verified 等智能体基准上取得当前最好成绩,还做成了 Claude Code 扩展,用于监控智能体并为强化学习提供稠密奖励。
Dream-RSI 是一个让编程智能体自己改进“怎么探索”的框架:它把智能体过去的发现历程拼成一个回放模拟器,让探索策略在模拟器里低成本地演练迭代,再把练好的策略放回线上继续发现新解,形成递归自改进闭环。论文称在算法工程、数学优化和 GPU 内核三类任务上,它在保持或提升发现质量的同时,显著降低了部分场景下的发现成本。
ABot-World-0 是动作条件视频世界模型,用 3A 游戏、仿真引擎和互联网视频的多源数据训练,直接以原始键盘输入操控,并用参考角色记忆保证第三人称滚动的身份一致。作者称单张 RTX 5090 即可流式输出 720p、最高 16 FPS 的交互画面,动作到首帧延迟约 1.2 秒,目标是真正能玩的长程闭环交互。
反复自动修改智能体的 harness(提示词、控制流、工具、记忆)看似在自我进化,实则常常只是背熟了训练任务,一换基准就露馅。RRSI 给进化环的两端都加上正则:提案方在时间退火预算下工作、被鼓励走向没试过的路径;筛选方用 critic 挡掉针对特定基准的修改,用 pruner 剔除太小、太贵或已无用的编辑。论文称在进化所用划分上最多提升 14.1 分,在五个分布外基准上最多提升 4.7 分,且进化出的 harness 运行少用 30% 的 policy token。
这篇综述把自我改进的智能体拆成“基础模型 + 提示词、记忆、工具、控制逻辑组成的运行脚手架”,并把“改进”定义为一个自我触发的更新算子:把经验转化为能力积累,尽量少依赖人工。作者按更新对象和驱动信号梳理了大量工作,从改提示词、改记忆一直到权重级的自我修改。
SoL-Pi 把递归自我改进用在智能体的运行外壳上而不是模型本身:一个自动化研究循环在多样环境里自行演化出动作执行、上下文压缩、观察处理和委托阅读四类可复用机制。作者在 51 题的 EdgeBench 基准上报告,它在与 Pi 相当的性能下把记录的 token 流量减少 44.7%-49.0%,API 成本约降三分之一。
长程智能体常在膨胀的上下文里丢状态,还把错误的自我评估带进后续决策。该框架把任务状态显式维护在执行之外,只用环境里能独立核实的事实更新状态,配合 Manage-Execute-Audit 循环,让经理、执行、审计三角色互相制衡。
数据智能体只能透过通用工具看到列名和文件路径,看不到数据本身的含义,这就是 agent-data 鸿沟。EvoOntology 把本体(schema、内容、工具三层)封装成一个 MCP 服务器,让智能体运行时可以主动查询;构建由 builder 智能体自动完成,之后通过归因引导的编辑持续进化,每处修改都要经过与 backbone 对照的成对评估才被接受。论文称在三个数据智能体基准、四个 LLM backbone 上稳定优于强基线和手工语义层方案。
Ouroboros 是一个自我迭代的编程智能体框架:工具、提示词、上下文组装乃至核心实现都通过“经评审的提交”逐步进化,并成为后续运行的基础,支持递归自由进化和经验驱动核心进化两种模式。作者还报告了长达 161 天、横跨七个人类交流界面的真实部署,强调当智能体开始重写自己时,安全护栏必须始终保持最高权威。
这是微信团队发布的通用多模态向量模型系列:2B/4B/9B 三个规格,支持文本、图像、视频、视觉文档及任意交错的多模态输入,输出维度可调,训练分两阶段,面向检索、推荐、分类和智能体等场景。