StartLux开源首个决策模型推理引擎Prism，推理最高快5.3倍

AI 摘要

StartLux原点星辉开源了首个面向决策模型的推理引擎Prism，通过收敛输出计算范围、森林式计算、整数运算和混排调度四项优化，在单张H200上处理同一材料连续三问时比原vLLM方案快5.3倍，231题平均延迟41毫秒。该引擎与DeepSeek开源的DeepInfer几乎同期发布，反映模型厂商自研推理引擎的趋势。Prism的int8量化版本准确率与原版差距仅0.03个百分点，并支持消费级显卡部署。

正文节选

智东西（公众号：zhidxcom） 作者 | 王涵 编辑 | 漠影 近期，大模型行业掀起一股开源自研推理引擎的浪潮。 10月20日，DeepSeek正式开源生产环境实际使用的推理框架DeepInfer。几乎同时，10月22日，国内AI创业团队StartLux原点星辉也对外开源了其自研推理引擎Prism。 同样是自研推理系统，DeepSeek的DeepInfer服务于自家通用大模型的云端大规模业务；而Prism则聚焦“决策模型”，据公开资料，其也是首款专门面向决策模型打造并对外开源的推理引擎。 决策模型是近段时间快速走红的大模型新赛道。不同于主打对话、内容创作的生成式大模型，决策模型不需要输出大段文本，在读取材料之后，直接输出判断结果，给出是/否、选项选择、风险等级打分这类概率化结论。 自今年9月Jev模型爆火之后，决策模型迅速成为行业焦点，微软、AWS、Cloudflare等企业也相继入局布局。 在国内决策模型赛道，成立尚不足五个月的StartLux原点星辉已经跑出了不错的成绩。10月16日，该团队推出新一代决策模型StartLux‑Decision-v1.1，以69.1分登上Hugg

发布时间：—

抓取时间：2026-10-24 01:17

来源机构：智东西