谷歌发布Gemini 2.0 Flash Thinking Mode公开预览版
谷歌于2024年12月19日发布Gemini 2.0 Flash Thinking Mode公开预览版。该模式是一种测试时计算模型，允许用户查看模型的思考过程，并生成具有更强推理能力的响应。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3345 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
12月19日周四 · 1 条
正文结构化主题已通过公开置信门槛
12月12日周四 · 1 条
正文结构化主题已通过公开置信门槛
Groq 科普：AI 推理基础与实时应用
Groq 博客发布了一篇关于 AI 推理（inference）的科普文章，解释了推理在机器学习中的定义、工作原理、类型及实际应用。文章强调推理是模型部署后对新数据做出预测或生成文本的关键步骤，并指出 Groq 的 LPU 推理技术能以高速度和低成本支持实时应用，如语音识别和智能体工作流。文章还提及 Meta 的 Llama 3.3 70B 模型在质量上接近
12月11日周三 · 1 条
正文结构化主题已通过公开置信门槛
谷歌发布 Gemini 2.0 Flash 实验版，速度翻倍并支持多模态
谷歌发布了 Gemini 2.0 Flash 实验版，该模型速度是 Gemini 1.5 Pro 的两倍，支持双向流式传输、多模态响应生成（文本、图像和语音）以及内置工具使用（如代码执行、搜索和函数调用）。此次发布标志着 Gemini 系列在性能和功能上的重大升级。
7月25日周四 · 1 条
正文结构化主题已通过公开置信门槛
构建生成式 AI 平台：通用架构与关键组件解析
Chip Huyen 在博客中概述了构建生成式 AI 平台的通用架构，从最简单的查询-模型响应开始，逐步添加上下文增强（如 RAG）、护栏、模型路由、缓存等组件，并强调可观测性和编排的重要性。文章指出上下文构建类似于经典机器学习中的特征工程，RAG 是常见的上下文增强模式，并介绍了基于术语和基于嵌入的检索方法。该架构旨在帮助企业高效部署生成式 AI 应用，提
7月18日周四 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布了 12B 参数的 Mistral NeMo 模型，支持 128k 上下文窗口，在推理、世界知识和编码方面达到同类最佳水平。该模型采用 Apache 2.0 许可，支持 FP8 推理，并引入新分词器 Tekken，在多语言压缩效率上显著提升。Mistral NeMo 已可通过 HuggingFace、Mistr
1月16日周二 · 1 条
正文结构化主题已通过公开置信门槛
生成配置详解：温度、top-k、top-p 与测试时计算
Chip Huyen 在其博客中深入探讨了 AI 模型的生成配置，包括温度、top-k、top-p 以及测试时计算。文章解释了模型生成文本的概率性采样过程，以及如何通过调整温度等参数来平衡创造性与一致性。此外，文章还讨论了增加推理计算量（如多次采样）对提升模型性能的作用，并提及了结构化输出的方法。
3月7日周一 · 1 条
正文结构化主题已通过公开置信门槛
Cohere大规模语言模型的实际应用
Jay Alammar加入Cohere团队近一年，该公司训练大规模语言模型（GPT和BERT类）并通过API提供，支持微调。他撰写了多篇文章，介绍如何应用这些模型解决实际问题，包括提示工程、语义搜索、微调等。这些内容旨在帮助开发者和企业更好地使用大规模语言模型。