AVA开源语音AI代理发布：首个深度集成Asterisk/FreePBX的本地化语音Agent，STT→LLM→TTS全栈私有部署

AVA v0.3.0 正式发布。它直接嵌入 Asterisk/FreePBX 电话系统，不依赖云服务——语音识别（STT）、大模型推理（LLM）、语音合成（TTS）全部在本地完成。音频和文本不出内网，全程走 Asterisk 原生 AudioSocket 协议，RTP 流直连。Python 引擎只需 2GB 内存就能跑通完整语音闭环。

开箱支持 OpenAI、Gemini、Grok 等 LLM API，也兼容 ElevenLabs、PlayHT 等 TTS 服务。同时开放 Pipeline 接口：Whisper.cpp、Ollama 本地模型、Piper 或 Tortoise TTS 都能自由替换。中小企业可直接用它替换旧 IVR；开发者 5 分钟就能搭起一个数据不出机房的 AI 坐席。

AudioSocket 直连：绕过 WebRTC 和 SIP 中继

AVA 不走 WebRTC 或 SIP 中继的老路，而是直接用 Asterisk 18+ 的 AudioSocket 接口——这是 Asterisk 为实时双向语音流设计的原生通道，端到端延迟 <420ms，单节点稳定支撑 32 路并发呼叫。

它跳过 SIP 信令层，直接解析和注入 RTP 包。STT 引擎（比如量化后的 Whisper.cpp）逐帧接收 PCM 流；LLM 输出经 TTS 转成 PCM 后，实时塞进 RTP payload 发送出去。

实测环境：Intel i5-1135G7 + 16GB RAM。单核 CPU 峰值占用低于 65%，远低于 LangChain + Twilio 这类组合（常超 90%）。老旧服务器、Jetson Orin、RK3588 边缘盒子都能跑。

STT → LLM → TTS 三层解耦，中间文本全程可控

AVA 把语音感知、语义理解、语音生成三件事彻底分开：

• STT 模块默认用 Whisper.cpp（支持 tiny.en 和 turbo 量化模型），也可切到 Vosk 或 DeepSpeech
• LLM 层通过 OpenRouter 统一适配器，自动路由到 GPT-4o、Claude-3-haiku、Qwen2-7B-Instruct，甚至本地 Qwen2-VL 多模态模型
• TTS 支持 REST 调用 ElevenLabs，也支持直连 Piper（含 zh-CN、en-US 等 12 种语言声线）

所有中间文本——ASR 结果、LLM 的 prompt 和 response、TTS 输入——都不经过外部服务。你可以审计日志、插自定义敏感词过滤、加企业知识库检索、甚至对接内部 LDAP 认证。

深圳一家跨境电商客户已用 AVA 替掉阿里云智能外呼系统。通话录音和对话上下文全部存在本地 NAS，合规审计从按月缩短到按小时。

Pipeline DSL：不用改代码，YAML 就能换技术栈

安装只要三步：

git clone https://github.com/ava-voice/ava.git

![配图](https://yitb.com/usr/uploads/covers/cover_news_20260715_080620.jpg)

pip install -r requirements.txt
./setup-asterisk.sh

脚本自动配置 modules.conf、extensions.conf 和 rtp.conf。

真正灵活的是它的 Pipeline DSL。用 YAML 就能切换组件：

stt:
  model: "whisper.cpp"
  device: "cuda:0"
llm:
  provider: "ollama"
  model: "qwen2:7b"
  timeout: 12
tts:
  engine: "piper"
  voice: "zh_CN-huayan-medium"

项目自带 FreePBX 插件包（.tar.gz 格式），一键导入后，在 GUI 里配 Dialplan 就能启用 AI 坐席。

龙虾生态开发者已基于 AVA 开发出 OpenClaw-Telephony 扩展模块，把龙虾 Agent 的多步任务调度能力直接注入电话流程。例如用户说“我要退订会员”，AVA 触发 OpenClaw 执行三步操作：CRM 查证 → 匹配退款策略 → 发短信确认。全程无 API 网关跳转。

它不是 Demo，是 Asterisk 的新 module

AVA 不是又一个语音前端 Demo。它把 AI 语音代理拉回通信基础设施层——LLM 在 Asterisk 里跑，就像 app_dial 或 app_queue 一样。

Twilio Autopilot 必须走它的信令网关；Azure Communication Services 绑死微软云身份；连开源项目 Jigasi 都得靠 Jitsi Meet 中继。而 AVA 锚定 AudioSocket，本质上是给 Asterisk 新增了一个 module。

目前已有 17 家国内呼叫中心服务商启动集成测试，其中 3 家明确将 AVA v0.4 列入 2024 年信创替代清单。它也是少数几个同时满足 GDPR、等保 2.0 和金融行业数据本地化要求的语音 Agent 基座。