Google DeepMind 发布 T5Gemma：基于适配技术的编码器-解码器模型系列
Google DeepMind 发布了 T5Gemma，这是一系列通过模型适配技术将预训练的仅解码器模型转换为编码器-解码器架构的模型，基于 Gemma 2 框架，包括适配的 2B 和 9B 模型以及新训练的 T5 规模模型。实验表明，T5Gemma 在多个基准上达到或超过仅解码器对应模型的性能，并在推理效率上具有优势，例如 T5Gemma 9B-2B 在
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月26日周日 · 2 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Gemini 2.5 Flash-Lite 稳定版发布，主打低成本高性能
Google DeepMind 发布了 Gemini 2.5 Flash-Lite 的稳定版，这是 Gemini 2.5 系列中速度最快、成本最低的模型，输入每百万 token 0.10 美元，输出每百万 token 0.40 美元。该模型支持原生推理能力、100 万 token 上下文窗口，并已应用于 Satlyt、HeyGen 等客户场景。稳定版现已通过
9月30日周二 · 1 条
正文结构化主题已通过公开置信门槛
AutoGen Python v0.7.5 发布：多项修复与安全增强
微软发布了 AutoGen Python 库的 v0.7.5 版本，包含多项修复和改进。主要更新包括：修复 Bedrock、Azure AI 和 OpenAI 客户端的流式响应问题，为 Anthropic 客户端添加思考模式支持，修复 Redis 缓存和内存问题，改进 JSON schema 转换，并默认使用 DockerCommandLineCodeExe
9月17日周三 · 1 条
正文结构化主题已通过公开置信门槛
Hugging Face TGI v3.3.6 发布：修复与回滚
Hugging Face 发布了文本生成推理（TGI）库的 v3.3.6 补丁版本，主要修复了缺失的反斜杠、FlashInfer 的 mask 传递问题，并移除了 Azure 相关代码，同时回滚了依赖版本更新。该版本还更新了流式演示的 iframe 源，并引入了两位新贡献者。
9月2日周二 · 1 条
正文结构化主题已通过公开置信门槛
Text Generation Inference v3.3.5 发布，优化 Gaudi 支持
Hugging Face 发布了文本生成推理库 Text Generation Inference 的 v3.3.5 版本。该版本主要针对 Gaudi 硬件进行了多项优化，包括改进 rope 内存管理、支持 Gemma3 滑动窗口、Deepseek v2 MLA 等，并增加了 XPU 的 LoRA 支持、更新了 Optimum Neuron 依赖，同时修复了
7月22日周二 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 发布大模型全生命周期环境影响评估，呼吁行业标准化
Mistral AI 发布了其大语言模型的首个全生命周期环境影响评估，与 Carbone 4 和 ADEME 合作完成，并经过同行评审。报告披露了训练 Mistral Large 2 的碳排放、耗水量和资源消耗，以及 Le Chat 每次推理的边际影响。该公司呼吁行业采用标准化环境报告，并提出了减少 AI 环境足迹的杠杆，如提高透明度和优化模型使用。
7月17日周四 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 为 Le Chat 推出深度研究与语音等新功能
Mistral AI 为其 AI 助手 Le Chat 推出多项新功能，包括 Deep Research 预览模式、基于 Voxtral 模型的语音模式、由 Magistral 推理模型驱动的多语言推理、Projects 上下文文件夹，以及与 Black Forest Labs 合作的图像编辑功能。这些功能旨在提升用户的深度研究、自然交互和上下文管理体验，用
7月8日周二 · 1 条
正文结构化主题已通过公开置信门槛
腾讯开源Hunyuan-A13B MoE模型，130亿激活参数性能卓越
腾讯开源了 Hunyuan-A13B 大语言模型，采用细粒度 MoE 架构，总参数 800 亿，激活参数 130 亿，支持 256K 上下文和混合推理模式。该模型在数学、科学和智能体等基准测试中表现优异，并提供了技术报告和训练推理手册。
7月1日周二 · 1 条
正文结构化主题已通过公开置信门槛
AutoGen Python v0.6.2 发布：新增流式工具与多项增强
微软发布了 AutoGen Python 库 v0.6.2 版本，引入了流式工具支持，更新了 AgentTool 和 TeamTool 以支持 run json stream，并新增了 tool choice 参数、AssistantAgent 内部工具调用循环、OpenTelemetry GenAI 追踪、Mem0 内存扩展等多项功能。这些更新增强了 Au
6月19日周四 · 1 条
正文结构化主题已通过公开置信门槛
TGI v3.3.4 发布：修复 Neuron 并支持 Gemma3
Text Generation Inference 发布 v3.3.4 版本，修复了 Neuron 模型导出时 batch size 为 1 的问题，并增加了对 Gaudi 上 Gemma3 文本和 VLM 模型的初步支持。该版本还包含其他后端修复。
6月16日周一 · 1 条
正文结构化主题已通过公开置信门槛
DeepSeek-V3 发布：高效 MoE 模型，性能比肩闭源
DeepSeek 发布了 DeepSeek-V3，这是一个拥有 6710 亿总参数、每个 token 激活 370 亿参数的混合专家（MoE）语言模型。该模型采用无辅助损失负载均衡策略和多 token 预测训练目标，在 14.8 万亿 token 上预训练，仅需 278.8 万 H800 GPU 小时，性能超越其他开源模型，并可与领先闭源模型媲美。训练过程稳
6月5日周四 · 1 条
正文结构化主题已通过公开置信门槛
Gemini 2.5 Pro 新预览版发布，支持自适应思考
Google 发布了 Gemini 2.5 Pro 的新预览版 gemini-2.5-pro-preview-06-05，该版本引入了自适应思考能力。旧版本 gemini-2.5-pro-preview-05-06 将于 2025 年 6 月 26 日重定向到 gemini-2.5-pro。
5月30日周五 · 1 条
正文结构化主题已通过公开置信门槛
TGI v3.3.2 发布：新增 Qwen3 支持并修复 Gaudi 问题
Text Generation Inference 发布 v3.3.2 版本，主要改进包括升级 vllm 扩展操作、切换到 hf-nix、新增 Qwen3 支持、fp8 compressed tensors w8a8 支持，并修复了 Llama-4-Scout 和 Llama-4-Maverick 在 Gaudi 上的 OOM 和崩溃问题。
5月22日周四 · 1 条
正文结构化主题已通过公开置信门槛
TGI v3.3.1 发布：升级 Torch 2.7 并支持 Llama4 与 DeepSeek R1
Hugging Face 发布了文本生成推理库 TGI 的 v3.3.1 版本，主要更新包括升级到 Torch 2.7 和 CUDA 12.8，并针对 HPU 后端优化了预热逻辑，支持 Llama4 和 DeepSeek R1 模型，同时修复了 GPU UUID 计数和默认注意力路径崩溃等问题。
5月1日周四 · 1 条
正文结构化主题已通过公开置信门槛
为什么我们要思考：测试时计算与思维链的进展
Lil'Log 发布文章《Why We Think》，回顾了测试时计算和思维链（CoT）在提升模型性能方面的最新进展。文章从人类双过程理论出发，将慢思考类比为测试时计算，并探讨了通过并行采样和顺序修正等解码策略来优化模型输出的方法。文章还提到了强化学习在提升 CoT 推理能力中的应用，并引用了 o1、o3 和 R1 等模型的技术报告。
4月14日周一 · 1 条
正文结构化主题已通过公开置信门槛
智谱AI发布5款新模型：GLM-4-Air和GLM-Z1系列
智谱AI于2025年4月14日发布多个新模型，包括两个基座模型GLM-4-Air-250414和GLM-4-Flash-250414，以及三个推理模型GLM-Z1-AirX、GLM-Z1-Air和GLM-Z1-Flash。其中GLM-4-Air性能比肩GPT-4o和DeepSeek-V3-0324，GLM-Z1-AirX速度最快可达200 tokens/秒，
3月13日周四 · 1 条
正文结构化主题已通过公开置信门槛
GroqCloud 推出批量处理 API，提供 50% 折扣并新增模型支持
GroqCloud 推出了批量处理 API，面向开发者和企业级用户，支持在 24 小时内处理大规模非实时 AI 推理工作负载，如数据分类、翻译、文档摘要和图像转文本。该服务提供 25% 的常规折扣，并在 4 月底前将折扣翻倍至 50%。新增支持 Llama 3.3 70B、DeepSeek-R1-Distill-Llama-70B 和 Llama 3.2 9
3月7日周五 · 1 条
正文结构化主题已通过公开置信门槛
Groq 详解 LPU 架构：AI 推理速度与能效远超 GPU
Groq 公司发布了其 LPU（语言处理单元）AI 推理技术的详细介绍，该处理器专为运行大型语言模型等 AI 工作负载而设计，相比 GPU 在架构层面能效提升高达 10 倍。LPU 采用软件优先、可编程流水线架构、确定性计算与网络以及片上内存等核心设计原则，旨在提供更快的推理速度和更高的效率。Groq 的 GroqCloud 平台由 LPU 驱动，展示了其在
3月1日周六 · 1 条
正文结构化主题已通过公开置信门槛
GroqCloud 开发者突破百万，庆祝一周年
Groq 在 GroqCloud 推出一年之际，宣布其开发者社区已突破 100 万人。过去一年中，该平台经历了快速增长，包括 48 小时内收到约 3000 个 API 访问请求，以及通过 GroqChat 提交的约 100 万条提示。公司将继续提供快速 AI 推理解决方案，并扩展其服务，包括 Dev Tier 自助访问、Flex Pricing 和批处理。
1月30日周四 · 1 条
正文结构化主题已通过公开置信门槛
KV 缓存详解：优化 Transformer 推理效率
Hugging Face 博客发布了一篇关于 KV 缓存的教程，解释了该技术如何通过存储注意力层的键值对来避免重复计算，从而加速 Transformer 模型的文本生成。文章提供了 PyTorch 伪代码和 transformers 库的使用示例，并展示了在 T4 GPU 上使用 KV 缓存可获得约 5.21 倍的加速。该技术对于长文本生成尤为重要，能显著提