hendrimardani 上传基于 Llama-3.1-8B 的 GRPO 微调模型
开发者 hendrimardani 在 Hugging Face 上传了一个基于 unsloth/Llama-3.1-8B-unsloth-bnb-4bit 微调的 Llama 模型,采用 Apache-2.0 许可,并使用 Unsloth 与 Hugging Face TRL 库训练,宣称训练速度提升 2 倍。该模型标注支持文本生成推理,但正文未提供评测结
技术方向 · 通用文本大模型的发布、能力更新与技术路线 · 共 527 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
开发者 hendrimardani 在 Hugging Face 上传了一个基于 unsloth/Llama-3.1-8B-unsloth-bnb-4bit 微调的 Llama 模型,采用 Apache-2.0 许可,并使用 Unsloth 与 Hugging Face TRL 库训练,宣称训练速度提升 2 倍。该模型标注支持文本生成推理,但正文未提供评测结
论文提出 OptST 方法,用于优化 LLM 增强推荐系统中的语义分词。传统两阶段流程中,分词器先训练、其离散 token 分配在推荐训练时被固定,导致下游推荐器无法修正语义划分。OptST 通过低秩形变并配合锚点正则约束,借助直通估计器将推荐监督信号传回分词器,同时保持硬最近码分配,并按交互选择前缀控制语义分辨率。在四个公开数据集上,OptST 的 AUC
佐治亚理工学院 DS@GT ARC 团队参加 CLEF 2026 CheckThat! Lab Task 3 事实核查文章生成任务,构建了一个四阶段流水线:清洗噪声证据、检索并聚类相关来源、以原始核查结论为条件驱动 Llama-3.1-8B-Instruct 生成文章、通过确定性后处理恢复行内引用。该系统在 9 支队伍中排名第 3,平均得分 0.428,显著
在2026世界顶尖科学家论坛第二届国际工程智能大会上,加拿大工程院外籍院士、智象元一(HiDream.ai)创始人兼CEO梅涛发表演讲,提出构建智能体化的全模态世界模型(Agentic Omnimodal World Models),认为大语言、多模态和具身大模型三条路线终将汇流。智象自研Unified Transformer全模态架构,搭建从图像、视频、交
另有 1 家信源报道
NVIDIA 深度学习高级产品研究工程师 Chris Alexiuk 通过 YouTube 和社交媒体(账号 llm wizard)向开发者教授如何构建、微调、评估和部署开源大模型应用与智能体。他自称“Nemotron 头号粉丝”,大力推广 NVIDIA Nemotron 系列开源多模态模型,认为完全开源(权重、数据、训练配方)是智能民主化的前提。其教学内容
在2026世界顶尖科学家论坛国际工程智能大会上,智象元一(HiDream.ai)创始人兼CEO梅涛提出构建智能体化的全模态世界模型(Agentic Omnimodal World Models),认为大语言、多模态和具身大模型三条技术路线终将汇流。该架构由LLM决策大脑、Omni-Model世界模拟器和Embodied Context具身上下文三部分组成,目
另有 1 家信源报道
这篇 arXiv 论文指出,社会模拟领域常以「苦涩教训」为由,用大语言模型替代手工构建的智能体,但这种做法并不成立。作者认为,Sutton 所举的每个案例中,通用方法都与领域工程解决同一任务,而社会模拟却把为预测文本优化的模型用于另一任务。预测者不承担互动后果,因此缺乏「利害关系」,这解释了此前研究报告的过度合作、集体一致但个体失真、群体同质化等异常现象。5
Plaksha大学FAIRC的研究者提出Mixture of Wide Experts(MoWE),一种稀疏前馈层:路由器为每个token选择少量专家,每个专家读取完整表示但只写入固定且互不重叠的输出坐标。在约10B token、19层、计算量匹配的实验中,MoWE评估交叉熵为2.417,略优于稠密模型的2.452,但标准MoE最低为2.22;在坐标可读性指
论文提出 LIBRA 框架,将扁平的 LLM 工具目录转化为可执行工具库:由 LLM 为每个工具提出调用契约、可复用输出与状态变化、成功条件,并在沙箱中测试工具组合,仅保留运行时验证通过的关系。该库在用户查询前构建,无需依赖标注、使用轨迹或任务训练,可同时支持一次性检索和迭代式智能体检索。在 AppWorld、BFCL、SciToolEval 上,相比同一稠
研究者提出一个用于LLM社会智能体的上下文丰富与选择性鲁棒性框架,将上下文丰富分解为中性填充、通用社会背景、描述性决策依据和规范性决策依据四类条件,并引入“选择性鲁棒性”作为验证标准,要求智能体对保持语义的提示变化不敏感、但对社会世界中与决策相关的实质变化有方向性响应。作者在类似囚徒困境的博弈中做了初步实验,发现不同丰富方式产生不同行为模式,且两个被测模型表
腾讯混元于11月4日发布新一代大语言模型Hy4,参数量770B,提升了指令遵循、长文理解与长程智能体能力,并计划近期开源模型权重。混元称Hy4是目前最强开源模型之一,在多项基准测试中超过DeepSeek-V4.1-Flash-1017,部分得分接近Kimi K3.1 Pro,但多数仍低于GPT6.1 Sol和Claude Opus 5.5。此外,字节跳动旗下
AtomicChat 在 Hugging Face 发布 Clover-35B-A3B-Preview-Uncensored-GGUF,基于 DiffuSpace 的 Clover-35B-A3B-Preview 微调,通过消融拒绝方向(abliteration)去除模型的拒答行为,并提供三种量化 GGUF 构建及 110 MB LoRA。在 Jailbre
Anthropic 宣布将文本水印扩展到 Claude Mythos 5、Opus 4.7、Opus 4.6、Sonnet 4.6 等更多 Claude 模型,以赶在欧盟《人工智能法案》12 月截止期限前合规。水印基于 Google DeepMind SynthID 文本方法的变体,在模型层面嵌入,用户无法关闭。但在 Opus 4.6 和 Sonnet 4.
Dify 发布 v1.19.0,为外部可观测性工具新增嵌套工作流追踪,可下钻到 Workflow Tool 内部执行步骤及 LLM 调用上下文。该版本还支持 Workflow Tools 随 App 包导出导入、新增 Skill Hub 自动化与 difyctl 技能管理命令,并改进 Agent 文件批量上传与预览。升级需 Docker Compose v2
该论文提出 Subspace Node Pruning(SNP),一种无需重训练的神经网络结构化剪枝方法。作者证明激活类、Fisher 类等多种重要性度量共享同一二次型,通过下三角基变换构造剪枝子空间,并用线性最小二乘同时补偿被剪节点的影响;对层激活做正交化后,各节点重要性分数解耦可加,从而支持层内多节点同时剪枝而不互相干扰。在 ImageNet 上 VGG
该论文研究多草稿投机解码(MDSD)的最优接受率问题。作者利用最优传输问题的对偶形式,将最优接受率计算转化为子集选择问题,首次在词表规模达数千的真实场景下计算了MDSD效率的理论上界,并量化了现有验证算法与该上界的差距。研究发现草稿采样方法显著影响最优接受率,条件泊松采样(CPS)优于有放回采样,且现有验证算法在有放回采样下未达到理论最优。
该预印本论文研究多智能体大语言模型系统中角色对反馈与失败恢复的影响。作者在Planner–Executor–Reviewer团队中固定智能体、拓扑、调用预算和评估器,仅改变角色指令,在Omni-MATH和SciBench上测试多个开源权重模型。发现删除角色几乎不降低首轮准确率,但角色结构中的Reviewer常拒绝提交,导致团队获得的外部反馈更少、失败后恢复率
该论文提出一个可定制的 AI 伦理护栏框架,通过整合规则、策略与 AI 助手来确保负责任的 AI 行为,并与现有最先进护栏进行对比。框架强调伦理多元主义,旨在提升透明度、用户自主权和持续改进,同时讨论了伦理指令冲突的解决策略。研究聚焦于为 LLM 等系统提供灵活、可适配的伦理治理方案。
该论文是一篇关于大语言模型驱动 Text-to-SQL 的系统性综述,覆盖 2022 至 2026 年间的 100 多篇论文与技术资源。作者提出五类范式分类(上下文学习、监督与参数高效微调、智能体与工具增强编排、检索增强生成、强化学习),并按模型粒度、监督程度和推理风格刻画各类方法。文章还分析了评估指标、数据集与开放挑战,包括领域泛化、效率、真实部署及语义层
该论文提出一种紧凑的、公式感知的电子表格抽象方法,用位置、类型、R1C1公式模式和边界值来表示大型同质区域,并在向LLM提交详细内容前先提供该抽象。在50个电子表格查询案例上的评估显示,该抽象本身足以回答部分查询,需要额外内容时可减少提交给LLM的数据量和token消耗,并提升处理的可靠性与准确性。该方法已集成到作者团队商业软件AI Agent for Ex