HexaShell:探索 VLM 智能体作为机器人编码智能体极限的薄封装
研究团队提出 HexaShell,一个通过视觉和自写工具控制双臂机器人的编码智能体,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,刷新该榜单最优成绩。该系统保持薄封装,仅将智能体命令转为机器人动作,智能体通过三路 RGB 相机与标定信息,在失败后读日志、定位原因并编写或修复小工具,以代码形式积累经验。其瓶颈在接触类任
技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1342 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
研究团队提出 HexaShell,一个通过视觉和自写工具控制双臂机器人的编码智能体,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,刷新该榜单最优成绩。该系统保持薄封装,仅将智能体命令转为机器人动作,智能体通过三路 RGB 相机与标定信息,在失败后读日志、定位原因并编写或修复小工具,以代码形式积累经验。其瓶颈在接触类任
开发者 dongfangshuo 在 Hugging Face 发布 Dongfangshuo-Qwen3.8-27B-NSFW v1.0,该模型基于 Huihui-Qwen3.8-27B-abliterated 无审查基座进行 R-18 文风特化微调,主打高破限服从度与成人剧情生成,并支持图文多模态输入。页面同时宣传 v2.0 激进版,称其修复了超长文自注
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis 智能指数上得分 42,比前代 M3 高 13 分,单任务成本却不到一半,约 0.22 美元。该模型在 Humanity's Last Exam 上达到 48%,在 AA-Omniscience 事实准确率上达到 56%,均超过 Deepseek V4.1 Flas
Hugging Face Transformers 发布 v5.20.2 补丁版本,修复了 generate 中 prepare inputs for generation 可能导致输入丢失原始类型、进而影响多模态模型的问题。同时修复了 bfloat16 下专家并行且 ep size 小于 fsdp size 时专家梯度为零的问题,并声明仅报告文本的 VLM
Kling AI 发布 4.0 版本,支持单次生成最长 30 秒视频、最多 10 张关键帧输入、8000 token 提示词理解,并升级 Omni Reference 系统可接受最多 15 个参考素材。新版本加入双声道立体声、十余种语言唇形同步及多语言视频内文字生成,同时推出轻量版 Kling 4.0 Flash(最高 720p、20 秒)。Kling 4.
TwelveLabs 的视频语言模型 Pegasus 1.5 于 2026 年 10 月 9 日在 Amazon Bedrock 上线。该模型可将长视频转化为带时间戳的结构化 JSON 元数据,新增视频分段、结合参考图像的多模态提示和无需预索引的即时处理能力,单次请求可分析最长两小时的视频。用户可直接从 Amazon S3 或 base64 字符串输入视频,
cyankiwi 在 Hugging Face 发布了 Qwen3.5-9B 的 AWQ-BF16-INT8 量化版本,基于 Qwen/Qwen3.5-9B 使用 llm-compressor 完成量化,校准数据来自 nvidia/Llama-Nemotron-Post-Training-Dataset,模型体积约 14.14 GB,采用 Apache-2.
开发者 ArtomYuan 在 Hugging Face 发布了 Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 ROCmFPX 量化 GGUF 版本,共 7 个量化层级并附带视觉 mmproj。该模型基于 huihui-ai 的 Coder390-EfficientThink 社区微调版再做 ablite
华中师范大学研究团队提出 CoReFuse-Med 方法,被 ACM MM 2026 接收。该方法采用「先净化再融合」策略,先对低质量模态进行净化处理,再进行多模态融合,以避免低质模态拖累整体性能。
面壁智能(OpenBMB)在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 int4 量化版本,基于压缩张量与 llm-compressor 实现 W4A16 量化。该模型是 MiniCPM-V 系列首个 MoE 多模态模型,借助 Lookahead Expert Scheduling、分层量化和 DSpark 投机采样,宣
OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 1B 的 GPTQ(W4A16)量化版本,基于 Apache-2.0 许可,面向端侧多模态推理。该模型采用视觉编码器内早期压缩与 4x/16x 混合视觉 token 压缩,支持 iOS、Android、HarmonyOS 及多家芯片平台,并兼容 SGLang、vLLM、llama
ggml-org 在 Hugging Face 发布了 google/gemma-4-E4B-it 的 GGUF 量化版本,采用 Apache-2.0 许可,pipeline 标签为 any-to-any。该模型由 ggml-org/convert 工具自动转换,可通过 Llama 应用或 llama serve 命令行直接运行。这为本地部署 Gemma 4
ggml-org 在 Hugging Face 发布了 google/gemma-4-31B-it 的 GGUF 量化版本,支持通过 Llama 应用或命令行 llama serve 直接运行。该模型由自动化转换工具生成,采用 Apache-2.0 许可,属于多模态图文输入模型。
ggml-org 在 Hugging Face 发布了 google/gemma-4-26B-A4B-it 的 GGUF 量化版本,采用 Apache-2.0 许可,支持 image-text-to-text 任务,可通过 Llama 应用或 llama serve 命令直接运行。该模型由自动化转换工具生成,页面信息尚不完整,标注了待补充说明的 TODO。
Google 发布 EmbeddingGemma 2,这是一个基于 Gemma 4、采用 Apache 2.0 许可的紧凑型开放权重多模态嵌入模型,可在手机和笔记本等消费级硬件上运行。其核心特性是将文本、代码、图像、视频和音频映射到统一的 768 维嵌入空间,使开发者无需为不同模态维护互不兼容的嵌入空间。模型支持按需加载编码器,参数量从 2.7 亿(文本和代
ISTA-DASLab 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版本,通过移除 50% 的专家(512 个中保留一半)并将剩余权重以 3.5 bpw 量化,把模型从 354 GB 降至 58.4 GB,常驻内存仅 29.6 GB,可放入单张 32 GB 加速卡。该版本面向代码、智能体工具调
用户 Adolphsson 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-UNCENSORED-GGUF,这是基于 dealignai 的 FP8 去审查版本转换并重新量化的 GGUF 模型,支持 1M token 上下文、视觉和工具调用,可在 llama.cpp 上 CPU 推理。该模型提供 Q2 K 至 Q8 0 多个量化
该论文提出 TriSAR-3D,一个用 128 线 LiDAR、RGB 相机和热成像相机采集的多模态人员检测数据集,覆盖室内外、昼夜及站立、行走、坐、躺等多种姿态,面向搜救机器人场景。作者同时提出三模态 3D 检测方法 PaintFusion,基于 PointPainting 融合并用简单 MLP 实现,在该数据集上达到 65.4 AP@50,优于仅 LiD
韩国中央大学的研究者提出 JAVIS,一个端到端流式音视频对话智能体框架,让语音和面部表情从单一共享表示中联合生成,避免传统级联管线中的信息瓶颈与延迟累积。该方法基于预训练 Fun-Audio-Chat,通过 LoRA 将语音精炼头改造为联合精炼头,输出统一音视频表示并分送语音与面部动作两个流式分支。团队还构建了 334 小时的合成音视频对话语料 JAVIS
清华大学THU-KEG团队提出Event-STVG新任务,将时空视频定位从描述引导的定位转向长视频事件推理,要求模型根据事件类别、发生次序和语义角色联合定位事件区间及参与者。团队构建了包含8个领域、4016个事件标注的基准,其中足球领域3516个事件。实验显示最强MLLM在10分钟上下文下仅达5.4% m-vIoU,暴露出重复同类事件混淆、空间定位瓶颈和多角