可解释性 · Sparse Autoencoders vs SAEs vs GemmaScope
稀疏自编码器原理解读:把叠加的神经元拆成可读的特征
语言模型的一个神经元可能同时对法语、DNA 和 HTTP 放电。稀疏自编码器把这种叠加拆回单一语义的特征,GemmaScope 又用 400+ 个开放 SAE 覆盖 Gemma 2 全部层。
主题
语言模型
用于大规模理解、生成和转换自然语言的模型。
对比与解读
长上下文 · Kimi K3 vs DeepSeek V4 vs Qwen3.8-Next vs Nemotron 3 Ultra
Kimi K3、DeepSeek V4、Qwen3.8-Next 架构对比
四家 2026 前沿开源模型各用各的法子撑 1M 上下文：K3 用 Delta 注意力，V4 压缩 KV，Qwen 用 GDN，Nemotron 靠 Mamba-2 换吞吐。
代码生成 · AlphaCode vs Code Llama
AlphaCode 和 Code Llama 的区别：竞赛搜索对开放代码模型
AlphaCode 用海量采样加筛选换来 Codeforces 前 54.3%;Code Llama 把开放权重做到 HumanEval 67%：两台机器干的是两件事。
语音合成 · VALL-E vs NaturalSpeech 2 vs SwanVoice
VALL-E、NaturalSpeech 2、SwanVoice 对比
同为零样本 TTS，三篇论文赌的是三个生成单元:VALL-E 把语音当 codec 语言模型，NaturalSpeech 2 用扩散生成连续隐向量，SwanVoice 一次生成整段对话。
文本嵌入 · Sentence-BERT vs SimCSE vs E5
Sentence-BERT、SimCSE、E5 对比：同口径 STS 数字说话
SBERT 把 1 万句相似从 65 小时缩到 5 秒；SimCSE 用 dropout 造正样本对，无监督 76.25、有监督 81.57;E5 零样本在 56 个数据集上首超 BM25。
专家混合 · Mixture of Experts vs Switch Transformer vs Mixtral vs DeepSeek-V3
混合专家模型(MoE)原理解读:从 Switch 到 DeepSeek-V3
把每层一个前馈网络换成许多专家和路由器,每个 token 只激活少数专家:参数总量和每 token 算力就此脱钩。Switch、Mixtral、DeepSeek-V3 三代设计一次讲清。
对齐 · RLHF vs DPO
RLHF 和 DPO 的区别:奖励模型到底能不能省掉
RLHF 要训一个奖励模型再跑 PPO;DPO 用一个闭式改写把这两步整个删掉,直接在有偏好的回答对上做分类式训练。数字上它是「一样好甚至更好,而且简单得多」,但有几个真坑。
语言模型 · DeepSeek V4
DeepSeek V4 架构解读:CSA、HCA、mHC 与 Muon
DeepSeek V4 保留 V3 的 MoE,把注意力改为先压缩再稀疏,在双随机约束下加宽残差流,用 Muon 训练大多数矩阵;1M 下 KV 缓存只有 V3.2 的 10%。
扩散语言模型 · Diffusion language models vs Autoregressive language models
扩散语言模型和自回归的区别:并行解码的真实代价
8B 的掩码扩散语言模型已能在 MMLU 上打平同尺寸自回归模型、在 GSM8K 上领先,只用六分之一的 token,还解决了反转诅咒。解码速度、短提示条件生成和服务栈成熟度仍偏向自回归。
语言模型 · Kimi K3
Kimi K3 架构解读:KDA、注意力残差与 LatentMoE
Kimi K3 三层 delta 规则线性注意力配一层全局 MLA,深度上对前置层做注意力,经半宽潜变量路由到 896 选 16 的专家;缩放效率约为 K2 的 2.5 倍。
长上下文 · KV cache compression
KV 缓存压缩原理详解:量化、卸载、压缩还是替换
长上下文里耗尽显存的是 KV 缓存而非权重。2026 年四条路线:撑过长解码的 2 比特量化、13.5% 常驻的前瞻卸载、1:16 软 token 压缩、固定大小记忆。
微调与适配 · LoRA vs Full fine-tuning
LoRA 和全量微调的区别:精度相近,权重不同
标准任务上 LoRA 与全量微调只差一分以内,可训练参数少一万倍;但它靠的是入侵维度,这些方向承担了遗忘,起初有利,持续训练下反而吃亏。
语言模型 · Muon vs AdamW
Muon 和 AdamW 的区别:预训练省一半算力,后训练用错地方
Muon 预训练用约一半 FLOPs 达到 AdamW 的损失,DeepSeek-V4、Kimi K3 已采用;用于 AdamW 模型的 SFT 会丢分,RL 里会崩。
语言模型 · Nemotron 3
Nemotron 3 架构解读:Mamba 混合、LatentMoE、NVFP4
Nemotron 3 Ultra 大多数层是 Mamba-2,注意力只有 2 个 KV 头,经潜变量路由到 512 选 22 的专家;解码比 GLM-5.1 快最多 5.9 倍。
语言模型 · Qwen3.8-Next
Qwen3.8-Next 架构解读:GDN、QSA、门控残差与 n-gram
Qwen3.8-Flash-Next 激活 6B 参数;3:1 GDN 混合、稀疏注意力、门控残差和 Muon 以 1/9 FLOPs 追平 Qwen3.7-Plus。
高效 AI · Speculative decoding
推测解码原理详解:草稿、验证与接受率上限
小模型先猜几个 token,大模型一次前向验证,拒绝采样保证输出分布不变。整场游戏就是有多少草稿 token 能活下来,2026 年的收益来自训练和重构草稿模型,而不是目标模型。
语言模型是现代 AI 基础设施的中心，因为它把文本变成了推理、检索、代码、智能体和多模态系统的通用接口。真正重要的研究线索不是某一个模型家族，而是一系列让规模变得有效的设计选择：双向预训练、decoder-only 少样本学习、指令跟随、算力最优训练和开放模型发布。
从 SEO 和学习路径看，这个主题应该被理解为能力迁移图谱。BERT 让预训练 encoder 成为 NLP 标准底座。GPT-3 让上下文学习变得可见。InstructGPT 说明人类偏好数据为什么重要。Chinchilla 修正了大家对数据和算力配比的直觉。Llama 类开放模型则把语言模型变成可部署生态，而不只是闭源前沿竞赛。
从这里开始
BERT 解读:双向 Transformer 预训练如何重塑 NLP
BERT 用掩码语言建模预训练深度双向 Transformer 编码器,只加一层即可微调,把 GLUE 推到 80.5%,横扫 11 项 NLP 任务。
Chinchilla：算力最优的模型为何能打赢更大的模型
Chinchilla 证明参数量与训练 token 应等比例增长：700 亿参数、约 1.4 万亿 token，打赢 Gopher 280B 和 GPT-3 175B。
GPT-3 解读:提示词成为编程界面的时刻
GPT-3 是 1750 亿参数的自回归语言模型,仅靠提示词里的几个示例就能完成翻译、问答和推理任务,无需梯度更新或任务专用微调。
奠基论文
BERT 解读:双向 Transformer 预训练如何重塑 NLP
BERT 用掩码语言建模预训练深度双向 Transformer 编码器,只加一层即可微调,把 GLUE 推到 80.5%,横扫 11 项 NLP 任务。
Sentence-BERT:孪生 BERT 句向量
Sentence-BERT:孪生 BERT 句向量把用于语义相似度的句向量落到具体方法和可检查结果上,适合判断该方向的真实进展。
DistilBERT:用蒸馏把 BERT 做小做快
DistilBERT 在预训练阶段蒸馏 BERT,得到 6 层、参数少 40% 的模型,推理约快 60%,并保留 BERT-base 约 97% 的 GLUE 成绩。
T5 解读:用一套文本到文本接口统一所有 NLP 任务
T5 把所有 NLP 任务都写成「文本进、文本出」,并系统横扫目标、架构、数据与规模;110 亿参数版在 GLUE、SuperGLUE、SQuAD 上刷出当时 SOTA。
近期解读
DeepSeek-V4 论文解读:压缩稀疏注意力与 10% KV 的百万上下文
DeepSeek-V4 发布 1.6T/49B 和 284B/13B 两个 MoE,用压缩稀疏与重度压缩注意力把 1M 上下文的 KV 缓存降到 V3.2 的 10%。
DeepSeekMath 论文解读:GRPO 的出处
DeepSeekMath 7B 靠 120B 数学 token 继续预训练加 GRPO,不用工具在 MATH 拿到 51.7%;GRPO 去掉 PPO 的价值模型,用组内均值当基线。
Kimi K3 论文解读:Delta 注意力、注意力残差与 896 个专家
Kimi K3 是 2.8T 参数、104B 激活的 MoE,由 3:1 的 KDA 与门控 MLA、注意力残差和 896 专家 LatentMoE 构成,缩放效率为 K2 的 2.5 倍。
LoRA 与全量微调等价吗:入侵维度论文解读
MIT 发现 LoRA 和全量微调准确率相近但权重不同:LoRA 会引入与预训练奇异向量近乎正交的高秩新方向,即入侵维度,它们承担了大部分遗忘,训练后缩小它们几乎不损失任务精度。
Muon is Scalable 论文解读:比 AdamW 省一半算力
Moonshot 证明 Muon 加权重衰减和更新量缩放后,能以约一半算力达到 AdamW 的损失;5.7T token 训出的 16B MoE 模型 Moonlight 是证据。
Nemotron 3 Ultra 解读:NVFP4 训出的 Mamba 混合 MoE
英伟达 550B 总参数、55B 激活的 Mamba 注意力混合 MoE,NVFP4 下 20T token 预训练;以少几分精度换最高 5.9 倍解码吞吐。
DeepSeek-V4 论文解读:压缩稀疏注意力与 10% KV 的百万上下文
DeepSeek-V4 发布 1.6T/49B 和 284B/13B 两个 MoE,用压缩稀疏与重度压缩注意力把 1M 上下文的 KV 缓存降到 V3.2 的 10%。
DeepSeekMath 论文解读:GRPO 的出处
DeepSeekMath 7B 靠 120B 数学 token 继续预训练加 GRPO,不用工具在 MATH 拿到 51.7%;GRPO 去掉 PPO 的价值模型,用组内均值当基线。
Kimi K3 论文解读:Delta 注意力、注意力残差与 896 个专家
Kimi K3 是 2.8T 参数、104B 激活的 MoE,由 3:1 的 KDA 与门控 MLA、注意力残差和 896 专家 LatentMoE 构成,缩放效率为 K2 的 2.5 倍。
LoRA 与全量微调等价吗:入侵维度论文解读
MIT 发现 LoRA 和全量微调准确率相近但权重不同:LoRA 会引入与预训练奇异向量近乎正交的高秩新方向,即入侵维度,它们承担了大部分遗忘,训练后缩小它们几乎不损失任务精度。
Muon is Scalable 论文解读:比 AdamW 省一半算力
Moonshot 证明 Muon 加权重衰减和更新量缩放后,能以约一半算力达到 AdamW 的损失;5.7T token 训出的 16B MoE 模型 Moonlight 是证据。
Nemotron 3 Ultra 解读:NVFP4 训出的 Mamba 混合 MoE
英伟达 550B 总参数、55B 激活的 Mamba 注意力混合 MoE,NVFP4 下 20T token 预训练;以少几分精度换最高 5.9 倍解码吞吐。
Qwen3.8-Next 架构论文解读:GDN 混合、QSA 与门控残差
Qwen3.8-Flash-Next 是 125B 参数、6B 激活的 MoE;GDN 混合、稀疏注意力、门控残差和 Muon 让它以 1/9 FLOPs 追平 Qwen3.7-Plus。
RL 让大模型学会从上下文翻译没见过的语言
用 RL 加 chrF 奖励训练大模型照着上下文翻译,学到的是读上下文而非背语言。五种未见语言上平均 0.3335 chrF,SFT 只有 0.2300,跌破基座。
CPPO:打破 LLM 强化学习里的均匀 token 信任域
CPPO 把 PPO 一刀切的裁剪阈值换成早 token 更严的裁剪加一条前缀漂移预算,把 Qwen3-30B-A3B-Base 的 AIME 从 49.23(DPPO)抬到 54.79。
DRPO:重新思考 LLM RL 中的散度正则
DRPO 把 DPPO 的硬散度 mask 换成平滑优势加权二次正则,保留 Binary-TV 信任域但梯度权重有界,在 BF16 和 FP8 下比 GRPO、SPO、DPPO 训得更稳。
N-GRPO:用语义邻居混合改进 RL rollout
N-GRPO 用语义邻居混合扰动 rollout embedding,把 1.5B 模型平均 Pass@32 提到 79.17,AIME25 提到 50.28。
AI 智能体 · Independent Researcher
ArcANE:角色扮演智能体何时出戏
ArcANE:角色扮演智能体何时出戏把角色扮演语言智能体可靠性变成可检查任务,帮助读者判断系统在哪里失效、结果应如何解读。
扩散语言模型 · Independent Researcher
扩散语言模型的机会与难题论文详细解读
扩散语言模型的机会与难题把扩散语言模型研究现状落到具体方法和可检查结果上,适合判断该方向的真实进展。
DistilBERT:用蒸馏把 BERT 做小做快
DistilBERT 在预训练阶段蒸馏 BERT,得到 6 层、参数少 40% 的模型,推理约快 60%,并保留 BERT-base 约 97% 的 GLUE 成绩。
E5:弱监督对比文本向量论文详细解读
E5:弱监督对比文本向量把通用文本向量落到具体方法和可检查结果上,适合判断该方向的真实进展。
扩散语言模型 · Independent Researcher
扩散语言模型的无因子化误差解码论文详细解读
扩散语言模型的无因子化误差解码把离散扩散语言模型的投机解码落到具体方法和可检查结果上,适合判断该方向的真实进展。
WASH:平均 3 个大模型就能洗掉文本水印
把 3 个独立大模型的输出分布做平均,水印检测 z 分数从 5-304 直接掉到 2 以下,WASH 还给出了 O(1/根号N) 的误差证明。
MobileBERT:端侧紧凑 BERT
MobileBERT:端侧紧凑 BERT把面向端侧的 BERT 压缩落到具体方法和可检查结果上,适合判断该方向的真实进展。
生物分子建模 · Independent Researcher
ProGen2:蛋白质语言模型设计蛋白
ProGen2:蛋白质语言模型设计蛋白把蛋白质序列建模与设计落到具体方法和可检查结果上,适合判断该方向的真实进展。
扩散语言模型 · Independent Researcher
SEDD:用概率比率做离散扩散语言模型
SEDD:用概率比率做离散扩散语言模型把离散扩散语言建模落到具体方法和可检查结果上,适合判断该方向的真实进展。
Sentence-BERT:孪生 BERT 句向量
Sentence-BERT:孪生 BERT 句向量把用于语义相似度的句向量落到具体方法和可检查结果上,适合判断该方向的真实进展。
SimCSE:对比学习句向量论文详细解读
SimCSE:对比学习句向量把对比式句向量学习落到具体方法和可检查结果上,适合判断该方向的真实进展。
小语言模型 · Independent Researcher
TinyLlama:开放小语言模型配方
TinyLlama:开放小语言模型配方把开放小语言模型训练落到具体方法和可检查结果上,适合判断该方向的真实进展。
Diffusion-LM:用扩散过程控制文本生成
Diffusion-LM 在连续词向量上迭代去噪,让梯度引导可以控制句法等细粒度属性,而不用重新训练语言模型。
专家混合 · National University of Singapore
dMoE：扩散语言模型的块级专家路由
dMoE 让 MoE 路由对齐扩散 LLM 的块级并行解码：在 LLaDA2.0-mini 上把每块唯一专家从 69.5 降到 14.6，保留 99.11% 精度，专家显存省 76-80%。
高效 AI · Shanghai AI Laboratory
Draft-OPD：在线策略蒸馏把投机解码推过 5 倍
Draft-OPD 让草稿模型在自身起草的状态上训练。Qwen3 思考模型加速 4.86 到 4.89 倍，比 EAGLE-3 高 23%、DFlash 高 13%，且无损。
ESM3:把蛋白质生成做成进化模拟
ESM3 同时建模蛋白质序列、结构和功能,生成出与已知荧光蛋白仅 58% 相同、但实际发亮的新蛋白。
Gemma Scope:DeepMind 为 Gemma 2 开放的稀疏自编码器套件
DeepMind 开放的 JumpReLU 稀疏自编码器套件,覆盖 Gemma 2 2B 与 9B 每一层,共 400+ 个 SAE、3000 万+ 特征,免费供可解释性研究。
大模型也需要睡眠:离线巩固加做梦改写权重
谷歌研究院提出离线睡眠阶段,把短期上下文写回权重。加上睡眠后 Qwen3-8B 在 AIME-24 拿 79.2%,ARC 小样本达 80%。
扩散语言模型 · Renmin University of China
LLaDA:用掩码扩散硬刚 LLaMA3 的 8B 语言模型
LLaDA 用掩码扩散取代下一个词预测,8B 模型在上下文学习上与 LLaMA3 8B 持平,GSM8K 拿 70.7,反向补诗任务还反超 GPT-4o。
MobileLLM:面向端侧的小语言模型设计
MobileLLM 认为十亿参数以下架构比单纯堆数据更关键:深而窄设计让 125M/350M 模型提升 2.7%/4.3%,共享再加 0.7%/0.8%。
NITP:预测下一个 token 的语义,而非只是它的 ID
NITP 在标准 NTP 之外加了一个稠密的表征监督:让模型预测下一个 token 的浅层表征。9B MoE 上 MMLU-Pro 提升 5.71 分,只多约 2% 训练算力,推理零开销。
可解释性 · Northeastern University
Position-aware ACD:位置感知自动电路发现
这项工作修正自动电路发现的盲点:同一组件在不同 token 位置作用不同,位置不变假设会漏掉真实机制。
SmolLM2:数据配方全开源的 1.7B 小模型
SmolLM2 是 1.7B 小模型,约 11T token 分四阶段过量训练。HellaSwag 68.7、MMLU-Pro 19.4 胜过 Llama3.2-1B,且四套数据集一起开源。
稀疏自编码器:从大模型激活里找出可解释特征
在大模型激活上训练一个稀疏自编码器,能把『叠加』拆成单一含义的特征,可解释性强过神经元;还能编辑某个概念(比如撇号规则)看模型行为随之改变。
VALL-E:用音频 token 做零样本语音合成
VALL-E 把 TTS 改写成音频 codec token 的语言建模任务,用 6 万小时语音和 3 秒提示做个性化合成,但滥用风险很高。
检索增强生成 · Universidad de San Andres
把成对重排当主动学习:更省调用的 PRP 重排器
把 LLM 成对重排看作主动学习,锦标赛选择器在 TREC DL 上拿到 68.00 NDCG@10,LLM 调用比排序式 PRP 少 3-5 倍,随机方向 oracle 把位置偏置变噪声。
AlphaCode 解读：竞赛级代码生成
DeepMind 的 AlphaCode 给每道题生成至多百万份候选程序，再过滤、聚类压到十份提交，在五千多人参赛的 Codeforces 竞赛中平均排到前 54.3%。
AI 智能体 · Shanghai AI Laboratory
Pi-Bench:AI 助手能猜到你没说出口的需求吗
Pi-Bench 不只看完成度,更测「主动性」。100 个长程任务里最强的 GPT-5.4 主动性也只有 67.0%,抽走历史会话后骤降 9.5 个百分点。
BERT 解读:双向 Transformer 预训练如何重塑 NLP
BERT 用掩码语言建模预训练深度双向 Transformer 编码器,只加一层即可微调,把 GLUE 推到 80.5%,横扫 11 项 NLP 任务。
思维链提示:把推理步骤写出来,如何激活大模型推理
只在示例里多写几步中间推理,大模型就能解多步难题——540B 模型配 8 个思维链示例,GSM8K 达到当时最优的 57%,超过带验证器的微调版 GPT-3。
Chinchilla：算力最优的模型为何能打赢更大的模型
Chinchilla 证明参数量与训练 token 应等比例增长：700 亿参数、约 1.4 万亿 token，打赢 Gopher 280B 和 GPT-3 175B。
Code Llama：基于 Llama 2 的开放代码模型
Code Llama 在 Llama 2 上继续训练，HumanEval 最高 67%、MBPP 最高 65%，是发布时开放模型最好成绩，支持填空与 10 万 token 上下文。
AI 智能体 · Shanghai AI Laboratory
COLLEAGUE.SKILL:把一个人的专长蒸馏成可移植 AI 技能
COLLEAGUE.SKILL 把一个人零散的工作痕迹蒸馏成带版本、可审查的技能包,分能力与受限行为两条轨道,任何 agent 都能安装、纠正、回滚。开源系统报告约 1.85 万 star。
宪法 AI:用 AI 反馈训练无害助手
几乎不用人工标注有害内容,模型对照一份写好的原则清单自我批评并改写答案,再从 AI 生成的偏好里做强化学习(RLAIF)。
大模型推理 · Renmin University of China
DelTA:面向可验证奖励强化学习的判别式 Token 信用分配
DelTA 把 RLVR 更新重加权,让信用落在真正能区分对错的 token 上,使 Qwen3-8B-Base 平均提升 3.26 分、Qwen3-14B-Base 提升 2.62 分。
高效 AI · Shanghai Jiao Tong University
Domino:把投机解码的草稿与因果修正拆开
Domino 让并行草稿器一次性提出整块 token,再用一个轻量头补回 token 之间的因果依赖,Transformers 下加速最高 5.49 倍,SGLang 吞吐最高 5.8 倍。
DVAO:按方差自适应加权的多奖励强化学习
DVAO 按各奖励在组内的方差自适应加权,而非固定系数,在 Qwen3-4B-Base 上把平均准确率从 38.99% 提到 42.19%,长度合规率从 96.39% 拉到 99.91%。
长上下文 · University of Illinois Urbana-Champaign
从上下文到技能:Ctx2Skill 让大模型自进化学技能
Ctx2Skill 用多智能体自博弈,无需人工标注或外部奖励,从长上下文中挖出自然语言技能,把 GPT-4.1 从 11.1% 提到 16.5%。
Gemma 解读:谷歌用 Gemini 技术造的开源权重模型
Gemma 是谷歌 DeepMind 从 Gemini 研究中提炼出的 2B 与 7B 开源权重模型,在 18 项文本任务中 11 项胜过同级开源模型,同时放出预训练与指令微调两套权重。
GPT-3 解读:提示词成为编程界面的时刻
GPT-3 是 1750 亿参数的自回归语言模型,仅靠提示词里的几个示例就能完成翻译、问答和推理任务,无需梯度更新或任务专用微调。
检索增强生成 · University of Massachusetts Amherst
GrepSeek:让搜索智能体直接 grep 语料库,而非查向量索引
GrepSeek 训练大模型用 grep 等 shell 命令直接搜原始语料、不建嵌入索引,在七个开放域问答基准上拿到最佳 F1 与精确匹配,检索最高提速 7.6 倍。
AI 智能体 · University of Illinois Urbana-Champaign
Eywa:让大模型智能体调用科学基础模型
Eywa 让大模型智能体把时序、表格交给 Chronos、TabPFN 等专用模型,而非塞进文本。EywaBench 上效用从 0.6154 提到 0.6558,省约 30% token。
HRM-Text：1500 美元从零训练 10 亿参数模型
HRM-Text 用约 1500 美元、仅 400 亿 token 从零训出 10 亿参数模型，MMLU 60.7%、GSM8K 84.5%、MATH 56.2%，靠层级循环架构而非堆算力。
InstructGPT:RLHF 如何打败 100 倍大的模型
OpenAI 用人类反馈对齐 GPT-3,评估者更偏好 1.3B 的 InstructGPT 而非 175B 的 GPT-3——参数少 100 倍却更有用。
Llama 2 解读:Meta 开放权重与那套 RLHF 对话配方
Llama 2 放出 7B、13B、70B 开放权重,外加 Llama 2-Chat——第一个把 RLHF 全流程(含独立安全奖励模型与 GAtt)写清楚的开源对话模型。
LLaVA 解读:视觉指令微调如何造出会看图的对话模型
LLaVA 用一层线性投影把 CLIP 编码器接到 Vicuna,再用纯文本 GPT-4 生成的图像指令数据微调,相对 GPT-4 达 85.1%,ScienceQA 达 92.53%。
δ-mem:给冻结大模型加一块 8×8 在线记忆
δ-mem 给冻结的大模型挂上一块仅 8×8 的 delta 规则在线记忆,长记忆平均分较原模型提升 1.10×、较其他记忆方法提升 1.15×,无需微调、不扩上下文。
MemPrivacy:用可逆占位符守住端云 Agent 的记忆隐私
MemPrivacy 端侧把敏感片段换成带类型占位符交云端处理记忆,再本地还原,效用损失控制在 1.6% 内,0.6B-4B 小模型识别隐私片段反超 GPT-5.2。
PaLM:用 Pathways 训练 540B dense 语言模型
540B dense Transformer,在 6144 块 TPU v4 上用 Pathways 跨两个 Pod 训练,少样本刷新纪录,BIG-bench 超过人类平均。
Phi-3-mini:能塞进手机、对标 GPT-3.5 的 3.8B 模型
Phi-3-mini 仅 38 亿参数,靠重度筛选加合成的「教科书级」数据训练,MMLU 69%、MT-bench 8.38,比肩 GPT-3.5,却小到能跑在手机上。
对齐 · Seoul National University
人格问卷为何测不准大模型的真实行为
给大模型做大五人格或价值观问卷,几乎预测不了它在真实提问中的表现:跨方法一致性仅 Spearman 0.31 与 0.26,而同类问卷内部高达 0.74-0.77。
Qwen2.5 解读:阿里从 0.5B 到 72B 的开源大模型全家桶
Qwen2.5 是阿里开源大模型家族,覆盖 0.5B 到 72B,预训练 18T tokens,开源旗舰 72B-Instruct 比肩约大它 5 倍的 Llama-3-405B。
RAG 原始论文(2020):检索增强生成是怎么来的
这篇 2020 年的 RAG 原始论文把维基百科稠密检索器(DPR)接到 BART 生成器上,在三个开放域问答任务上刷新当时最优,还能靠换索引直接更新模型知识、无需重训。
ReAct:推理与行动交织,如何搭起 LLM 智能体
ReAct 让模型把推理过程和搜索、API 调用等行动交替进行,削减思维链幻觉,仅凭一两个示例就在 ALFWorld 上以 34% 绝对成功率超越强化学习智能体。
SkillOpt:把冻结智能体的技能文本当模型来训
SkillOpt 不动模型权重,只训练一份自然语言技能文档:靠有界增删改、文本学习率和留出验证门,把 GPT-5.5 在直聊场景六个基准上平均拉高 +23.5 分。
T5 解读:用一套文本到文本接口统一所有 NLP 任务
T5 把所有 NLP 任务都写成「文本进、文本出」,并系统横扫目标、架构、数据与规模;110 亿参数版在 GLUE、SuperGLUE、SQuAD 上刷出当时 SOTA。
Toolformer:语言模型如何自学使用工具
Toolformer 让模型自己决定调用哪个 API、传什么参数——计算器、问答、搜索、翻译、日历——只靠保留那些能降低下一词损失的采样调用,每个工具只需几条示范。
TransitLM:无地图公交路线生成的大规模数据集与基准
TransitLM 收录四座中国城市 1300 万条规划记录,让语言模型脱离地图引擎直接规划公交路线,4B 模型在最优路线上达 97.0% 连通性、71.0% 完全匹配。
文本嵌入 · Renmin University of China
EmbFilter:把大模型的解嵌入矩阵当成特征透镜
EmbFilter 把解嵌入矩阵当透镜,剥掉文本嵌入里被高频废词占据的子空间,在不微调的前提下提升零样本检索并降维。