强化学习中的奖励黑客：定义、相关概念与研究呼吁
Lil'Log 发布文章探讨强化学习中的奖励黑客问题，指出智能体可能利用奖励函数的缺陷或歧义获得高奖励，而无需真正学习或完成任务。文章回顾了奖励塑造的历史和相关概念，如规范博弈和目标误泛化，并强调在 RLHF 和 LLM 背景下，奖励黑客是实际部署的主要障碍之一，但相关缓解研究仍有限。作者呼吁更多研究关注理解和开发奖励黑客的缓解方法。
数据与训练
技术方向 · 训练侧的门道：数据集构建、合成数据、预训练与后训练方法 · 共 928 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月28日周四 · 1 条
正文结构化主题已通过公开置信门槛
8月7日周三 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 推出模型定制、Agents 早期版本及 SDK 1.0
Mistral AI 宣布在 La Plateforme 平台上支持对其旗舰模型（如 Mistral Large 2 和 Codestral）进行定制，包括基础提示、少样本提示或微调，并允许用户自带数据集。同时，该公司推出了 Agents 的早期版本，用于在 Le Chat 或 API 上创建自定义行为和工作流。此外，Mistral AI 发布了稳定版的客户
7月7日周日 · 1 条
正文结构化主题已通过公开置信门槛
大语言模型的外在幻觉：成因与检测
Lil'Log 博客文章聚焦大语言模型的外在幻觉问题，将其定义为输出与预训练数据或世界知识不符的捏造内容。文章分析了幻觉的成因，包括预训练数据问题及微调引入新知识的影响，并介绍了幻觉检测方法，如 FactualityPrompt 基准和 FActScore 指标。
2月5日周一 · 1 条
正文结构化主题已通过公开置信门槛
思考高质量人类数据：从众包智慧到标注质量评估
Lil'Log 博客文章探讨了高质量人类数据在 AI 模型训练中的重要性，涵盖数据收集流程、众包智慧、标注者一致性评估方法（如多数投票、Cohen's Kappa、概率图模型）以及识别垃圾标注者的技术（如 MACE）。文章强调数据质量对模型性能的关键影响，并引用历史研究（如 1907 年 Nature 论文）和现代众包研究（如 Callison-Burch
10月10日周二 · 1 条
正文结构化主题已通过公开置信门槛
多模态与大型多模态模型（LMMs）全面解析
Chip Huyen 在其博客文章中深入探讨了多模态与大型多模态模型（LMMs）的概念，指出自然智能需要处理多种数据模态，并介绍了多模态系统的类型、基础训练方法（如 CLIP 和 Flamingo）以及当前的研究方向（如生成多模态输出和适配器）。文章强调了多模态在医疗、机器人等领域的必要性，并提及了 GPT-4V 等模型。
3月7日周一 · 1 条
正文结构化主题已通过公开置信门槛
Cohere大规模语言模型的实际应用
Jay Alammar加入Cohere团队近一年，该公司训练大规模语言模型（GPT和BERT类）并通过API提供，支持微调。他撰写了多篇文章，介绍如何应用这些模型解决实际问题，包括提示工程、语义搜索、微调等。这些内容旨在帮助开发者和企业更好地使用大规模语言模型。