📰 龙虾新闻

极简架构:C++26 + ONNX Runtime + 原生 Tokenizer

发布时间:2026-07-17 分类: 龙虾新闻
摘要:Agentty 正式开源:C++26 实现的轻量级代码生成 Agent,11.0 MB 静态二进制,零依赖,全平台开箱即用——专为离线代码生成与嵌入式 Agent 场景设计。Agentty 不是 LLM wrapper。它是一个从头用 C++26 编写的本地 Agent 运行时,目标明确:在私有环境中替代 Claude-Code 的高频调用链路。不依赖 API 密钥,不上传数据,没有网络延迟...

封面

Agentty 正式开源:C++26 实现的轻量级代码生成 Agent,11.0 MB 静态二进制,零依赖,全平台开箱即用——专为离线代码生成与嵌入式 Agent 场景设计。

Agentty 不是 LLM wrapper。它是一个从头用 C++26 编写的本地 Agent 运行时,目标明确:在私有环境中替代 Claude-Code 的高频调用链路。不依赖 API 密钥,不上传数据,没有网络延迟或排队等待。实测在 M1 MacBook Air(8GB RAM)上,agentty --file main.py --prompt "add type hints" 平均响应时间 <320ms,CPU 占用峰值 <45%,内存常驻仅 21MB。对比 Claude-Code 官方 Web 端(首字延迟平均 1.8s+,强依赖 HTTPS、鉴权和限流),Agentty 把代码补全真正交还给终端进程——粒度可控,延迟可测。

极简架构:C++26 + ONNX Runtime + 原生 Tokenizer

Agentty 不依赖 Python 解释器,也不需要 CUDA 驱动。它把量化后的 Phi-3-mini(1.5B)模型以 ONNX 格式直接嵌入二进制;Tokenizer 完全手写 C++ 实现,处理 UTF-8 边界、支持 PEFT token 合并逻辑,绕过 Python 中正则、encode/decode 等引入的非确定性行为。构建系统基于 CMake 3.29+,一键生成 Windows .exe、macOS .app、Linux ELF 三平台静态可执行文件。strip -s agentty 后体积严格为 11.0 MB(SHA256: a7f3e...)。无 glibc 依赖,musl 交叉编译支持 Raspberry Pi 5(ARM64)和 Intel NUC13(x86_64)。

真离线:私有化 Agent 开发的确定性基座

Claude-Code 是云端服务代理层,输出受服务器负载、上下文截断、内容策略实时干预影响。你在 IDE 里写 // TODO: optimize cache invalidation,返回的可能是合规改写,而非真实意图。Agentty 强制所有推理发生在本地:输入 token 流经 TokenStreamBuffer → KVCacheManager → ONNXExecutor 三级流水线,每一步都确定、可打断、可 dump、可注入调试 hook。开发者能直接用 LD_PRELOAD=./libagentty_debug.so 注入自定义日志处理器,或通过 --trace-kv 导出每层 attention 权重热力图。对金融、军工、医疗等强审计场景,这意味着代码生成全程可复现、可签名、可审计。

配图

边缘就绪:从 VS Code 插件到车载诊断终端

Agentty 提供 libagentty.so/.dll/.dylib 动态库接口,C/C++/Rust 项目可直接 dlopen() 调用;同时发布 VS Code 扩展 agentty-code,支持 .agenttyrc.yaml 配置模型路径、temperature、max_tokens,且不依赖 Node.js runtime——插件启动即加载本地二进制,禁用网络权限后仍 100% 可用。更关键的是内存模型针对嵌入式优化:KV Cache 使用 ring-buffer 预分配(默认 4KB slot × 2048 tokens),避免 malloc/free 抖动;模型权重页对齐 mmap 只读加载,Pi5 实测冷启动耗时 <180ms。已有团队将其集成进国产车规级 TBox 诊断工具链,用于实时解析 CAN 日志并生成 C 语言解析器 stub。

对标 Claude-Code:不是功能复制,而是范式迁移

Agentty 不追求“支持 100 种语言”或“自动联网查文档”。它砍掉所有非核心路径:无浏览器渲染、无多轮对话管理、无插件生态。它的价值锚点很硬——当你的 CI pipeline 需要在完全隔离的内网生成 Kubernetes Helm Chart,当工厂 PLC 固件升级脚本必须离线生成并通过 SHA256 校验,当军用无人机飞控模块要求代码生成延迟 <50ms 且全程无外联痕迹,Agentty 就是那个能放进 /usr/local/binchmod +x 的确定性答案。它不是 Claude-Code 的竞品,而是把 Claude-Code 的能力“卸载”到本地的基础设施。

龙虾(YITB)团队已将 Agentty 纳入 OpenClaw Agent Runtime 兼容层测试计划,下周起支持 openclaw run --engine agentty 直连调用。建议 AI 工程师立即下载对应平台二进制,在 git clone && cd project && agentty --init 中验证私有代码库的本地补全效果;边缘设备开发者可尝试 docker build --platform linux/arm64 -t agentty-edge . 构建精简镜像。真正的 Agent 自由,始于你硬盘里的那个 11MB 文件。

返回首页