训练 LLM 与推荐系统混合模型：利用语义 ID 实现可引导推荐
Eugene Yan 训练了一个 LLM 与推荐系统的混合模型，通过语义 ID 将物品表示为语言模型可理解的 token，使模型既能基于行为数据推荐，又能通过自然语言对话进行引导和解释。实验使用 Amazon Reviews 2023 视频游戏数据，构建了 79k 用户序列，并采用 RQ-VAE 生成语义 ID。该混合模型虽在精度上不及专用推荐系统，但提供了
大语言模型
技术方向 · 通用文本大模型的发布、能力更新与技术路线 · 共 527 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月14日周日 · 1 条
正文结构化主题已通过公开置信门槛
7月22日周二 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 发布大模型全生命周期环境影响评估，呼吁行业标准化
Mistral AI 发布了其大语言模型的首个全生命周期环境影响评估，与 Carbone 4 和 ADEME 合作完成，并经过同行评审。报告披露了训练 Mistral Large 2 的碳排放、耗水量和资源消耗，以及 Le Chat 每次推理的边际影响。该公司呼吁行业采用标准化环境报告，并提出了减少 AI 环境足迹的杠杆，如提高透明度和优化模型使用。
3月26日周三 · 1 条
正文结构化主题已通过公开置信门槛
Jay Alammar博客迁移至Substack
Jay Alammar宣布冻结其博客，转而使用Substack平台发布内容，理由是Substack的写作体验更便捷。他邀请读者关注其Substack，并提及了《The Illustrated DeepSeek R-1》文章和《How Transformer LLMs Work》课程。
3月7日周五 · 1 条
正文结构化主题已通过公开置信门槛
Groq 详解 LPU 架构：AI 推理速度与能效远超 GPU
Groq 公司发布了其 LPU（语言处理单元）AI 推理技术的详细介绍，该处理器专为运行大型语言模型等 AI 工作负载而设计，相比 GPU 在架构层面能效提升高达 10 倍。LPU 采用软件优先、可编程流水线架构、确定性计算与网络以及片上内存等核心设计原则，旨在提供更快的推理速度和更高的效率。Groq 的 GroqCloud 平台由 LPU 驱动，展示了其在
12月12日周四 · 1 条
正文结构化主题已通过公开置信门槛
Groq 科普：AI 推理基础与实时应用
Groq 博客发布了一篇关于 AI 推理（inference）的科普文章，解释了推理在机器学习中的定义、工作原理、类型及实际应用。文章强调推理是模型部署后对新数据做出预测或生成文本的关键步骤，并指出 Groq 的 LPU 推理技术能以高速度和低成本支持实时应用，如语音识别和智能体工作流。文章还提及 Meta 的 Llama 3.3 70B 模型在质量上接近
1月3日周一 · 1 条
正文结构化主题已通过公开置信门槛
图解检索增强Transformer：RETRO如何以4%参数媲美GPT-3
DeepMind 的 RETRO 模型通过检索数据库增强语言模型，以 7.5B 参数达到 GPT-3 的性能，仅为后者规模的 4%。该模型将事实知识存储在外部数据库中，减少参数负担，训练更快且部署成本更低。文章强调构建更大模型并非提升性能的唯一途径，检索增强是重要方向。
1月19日周二 · 1 条
正文结构化主题已通过公开置信门槛
语言模型隐藏状态可视化：揭示生成机制
Jay Alammar 发布了关于语言模型隐藏状态可视化的文章，介绍了开源工具 Ecco，用于展示 Transformer 模型各层隐藏状态的演变，以揭示模型生成 token 的决策过程。文章通过示例展示了如何追踪特定 token 的排名变化，并探讨了该方法在分析句法数一致性和性别偏见等任务中的应用。