Cactus-Compute 发布端侧工具调用模型 Needle 3
原标题:Cactus-Compute/needle3
AI 摘要
Cactus-Compute 在 Hugging Face 发布端侧模型 Needle 3,面向工具调用、结构化抽取和文本嵌入,采用 Apache-2.0 许可。该模型通过 cactus-compute Python 包分发,首次使用时自动下载并缓存引擎与权重,仓库提供 needle3.cact 和 safetensors 检查点,运行时二进制位于 Cactus 仓库。其定位是边缘设备与浏览器端(含 WebAssembly)的本地推理,配套提供 Python API、工具设计、结构化抽取和微调指南。
正文节选
--- library_name: cactus-compute pipeline_tag: text-generation license: apache-2.0 tags: - tool-calling - function-calling - on-device - edge - quantization - webassembly ---  # Needle 3 An on-device model for tool calling, structured extraction and text embeddings. See the [Needle website](https://cactuscompute.com/needle) for model details, benchmarks and the browser demo. ## Get started ```sh pip install -U cactus-compute ``` ```python import ca