构建安全可扩展的人脸验证系统架构
文章基于一个面向15万活跃用户的企业级人脸验证系统部署经验,指出人脸验证应被视为分布式系统挑战而非简单API集成。作者描述了上线首日因3000名员工同时打卡导致同步调用崩溃的教训,并提出分层参考架构:客户端边缘智能做数据质量校验、异步队列与熔断器解耦检测与验证、零信任令牌化替代原始PII、基于风险的动态阈值决策引擎。该架构在早高峰窗口支撑每分钟8500次请求
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3316 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
文章基于一个面向15万活跃用户的企业级人脸验证系统部署经验,指出人脸验证应被视为分布式系统挑战而非简单API集成。作者描述了上线首日因3000名员工同时打卡导致同步调用崩溃的教训,并提出分层参考架构:客户端边缘智能做数据质量校验、异步队列与熔断器解耦检测与验证、零信任令牌化替代原始PII、基于风险的动态阈值决策引擎。该架构在早高峰窗口支撑每分钟8500次请求
智谱于9月13日晚间公告完成约50亿美元融资,包含约20亿美元股份配售及约30亿美元可转债发行,资金主要投向模型研发与算力基础设施。文章梳理了智谱从GLM-4.6到GLM-5.3约两个月一次的迭代节奏,以及上半年收入9.54亿元、同比增长399.7%的商业化进展,并分析其下一代GLM研发、完全自训练(Fully Self-Training)路线与国产算力布局
阿里 FunASR 发布 1.4.16 版本,重点修复混合设备推理管线的配置传播问题,确保 vad kwargs、punc kwargs、spk kwargs 的设备放置不会在重复推理中被运行时 device 覆盖所改变。同时新增原生 Transformers 接入指南(中英文),并澄清 SenseVoiceSmall 与 Paraformer 何时需要 C
Vercel AI SDK 发布 ai@6.0.286 补丁版本,集中修复了流式处理相关的多个问题,包括模拟文本流时保留 provider 元数据、在流式步骤结果中报告 prepareStep 模型、防止 UI 消息流提前停止时出现未处理的 rejection、保留待审批工具调用、在模型调用中止或超时时取消提示附件下载、流式输出 null 和空字符串 JSO
Google 在 Gemini API 发布说明中宣布,为保证服务稳定性,将 Gemini 2.5 系列模型的访问权限限制为过去曾活跃使用过这些模型的用户。这些模型并未被弃用,仍会继续通过 API 提供服务,但新项目需改用最新的 3.5 Flash-Lite 或 3.8 Flash。此举旨在为存量工作流和新应用保留足够容量。
数据中心开发商 Crusoe 完成 39 亿美元 F 轮融资,估值升至 309 亿美元,由 Atreides Management、Mubadala Capital 和 Valor Equity Partners 联合领投,英伟达、Founders Fund、GIC、QIA、TPG 等参投。资金将用于现有数据中心项目(包括得州 Abilene 为 OpenA
AWS 博客介绍了一种基于 Amazon Quick Sight 的无服务器、数据驱动的 Git 指标仪表盘方案,可自动从 GitHub 和 GitLab 采集仓库指标。方案采用事件驱动流水线,结合 EventBridge Scheduler、Step Functions、Lambda、Secrets Manager 和 S3,实现变更检测、自适应分块、全量
华为在上海发布AI时代全新计算架构Peerium,宣称通过嵌套并行、统一内存寻址和平等互联,实现百万级处理器成为一台计算机。该架构突破图灵范式与冯·诺依曼单机架构,关键互联技术为开放协议灵衢。首代产品Atlas 950超节点已部署25.6万卡集群,基于NPO的Atlas 960系统正在测试中。
蚂蚁集团于9月17日正式接入千问办公,将其作为全公司智能办公Agent底座供数万员工使用。合作采用K8S私有化部署,运行于蚂蚁内网,支持自有模型接入,确保数据不出域、日志可审计。千问办公上线仅一个月用户数突破3000万,企业用户占比过半,已接入长安汽车、中集安瑞科、汇付天下、传化集团、老乡鸡等头部企业。
DeepSpeed 发布 v0.19.7 补丁版本,包含大量修复与改进,涉及 ZeRO 检查点导出 dtype 可配置、AutoTP/AutoEP 相关修复、Triton 注意力路径清理、CPU Adam 的 ARM SVE 内核、macOS MPS CI 支持等。该版本主要提升训练框架的稳定性与兼容性,并新增若干可选优化路径。
NVIDIA 在 MLPerf Inference v6.1 Edge Agentic 基准测试中,用 TensorRT Edge-LLM 在单台 Jetson AGX Thor 上运行 Qwen3.6-27B,以 52.33 tokens/秒完成 1,007 轮 agent 工作负载,耗时 24 分 36 秒,比 llama.cpp 参考提交快 6.4 倍
AWS 在 Amazon Bedrock AgentCore 中推出系统提示优化器(system prompt optimizer),利用 AgentCore Observability 记录的生产轨迹和奖励信号,由 agentic reflector 分析成功与失败模式并生成改进后的系统提示。该优化器提供 Single Agent Reflector 和实
TypeSafe 发布 Jev,一种被称为“System One Model”的决策模型,只负责决定、分类、路由和打分,不做文本生成,据称比小型前沿 LLM 快 100 倍以上、便宜 200 倍以上。该模型通过 RLCD(校准决策)训练,强调并行采样、无幻觉和校准能力,被定位为对慢速“System Two”LLM 的补充。社区讨论认为它更适合替代生产系统中的
llama.cpp 发布 b10997 版本,主要改动是扩展 HIP 后端在 RDNA3.5 架构上的 MoE ncols opt tile 启发式规则,将条件从 GGML CUDA CC IS RDNA3 0 改为 GGML CUDA CC IS RDNA3,代码位于 ggml/src/ggml-cuda/mmq.cu,dense 调度逻辑不变。在 AMD
llama.cpp 发布 b10996 版本,主要变更是针对 qwen3-coder 在推理预算结束时强制输出 \n 标签。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制文件,包括 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等加速方案。
2026年9月15日,AI基础设施公司基元律动(TokenRhythm)与无问芯穹(Infinigence AI)签署战略合作协议,双方将结合无问芯穹的Agentic Infra产品及服务体系与基元律动的多模型服务、智能路由能力,围绕高质量Token的供给、调度与应用展开合作。基元律动已首发接入Qwen-3.8-Max及牛来(GLM-5.3-Flash),双
高通技术公司宣布与中兴努比亚、豆包手机助手合作,推出搭载第五代骁龙8至尊版移动平台和豆包手机助手消费者版的智能体手机努比亚NaviX Ultra。该平台集成第三代Qualcomm Oryon CPU、Adreno GPU和面向智能体AI优化的Hexagon NPU,支持生成式AI与智能体AI体验。努比亚称该机可实现多方式唤醒模型、连续对话、多任务及跨APP操
2026年9月15日,AI基础设施公司基元律动(TokenRhythm)与无问芯穹(Infinigence AI)签署战略合作协议,双方将结合无问芯穹的Agentic Infra产品服务体系与基元律动的多模型服务、智能路由能力,围绕高质量Token的供给、调度与应用展开合作。基元律动已首发接入Qwen-3.8-Max及牛来(GLM-5.3-Flash),双方
另有 1 家信源报道
llama.cpp 发布 b10995 版本,主要变更是让 Vulkan 后端的 MUL MAT ID BN/2 尾部分支变为无条件启用,将 BN/2 设为默认并作为 BNover4 的禁用回退,同时移除该分支的启用门控;BN/4 分支仍由 enable smaller matrices 控制。该版本同时提供 macOS、Linux、Windows、Andr
llama.cpp 修复了 Metal 后端 mul mm id 算子在激活值超出 f16 范围(65504)时产生 NaN 的问题。原因是 simdgroup MMA 将 src1 窄化为 half 导致 inf 并污染整个 8x8 累加器,修复方式是按 2 的幂对 src1 重新缩放并在存储时还原,保证结果精确且对现有模型比特级一致。该缺陷曾导致 Mis