AVA开源语音AI代理：全栈自托管企业级IVR框架，支持AudioSocket/RTP与Python闭环STT-LLM-TTS

开源语音AI代理AVA正式发布：首个可全栈自托管、深度集成Asterisk/FreePBX的企业级IVR框架，支持AudioSocket/RTP原生协议与Python引擎闭环（STT→LLM→TTS），数据零出域，隐私合规与工程可控性同步落地。该方案直击金融、政务、医疗等强监管行业的核心痛点——模型再强，若无法嵌入现有通信基础设施、无法离线调度、无法审计每帧音频流向，就只是演示Demo。AVA不是又一个Web界面语音玩具，而是面向AI工程师与通信系统开发者的生产级语音Agent底座。

技术架构：AudioSocket原生接入，Python闭环不绕路

AVA跳过WebRTC或HTTP音频中转，直接通过Asterisk 21+的AudioSocket协议建立低延迟RTP流通道。语音输入毫秒级进入本地Python运行时。STT模块默认集成Whisper.cpp（CPU轻量部署）或VAD+Streaming-Whisper（GPU加速），输出文本后交由本地或远程LLM处理——已实测兼容Claude-3.5-Sonnet、DeepSeek-V3、Qwen2.5-72B-Instruct及Llama-3.1-405B（via Ollama/Ollama Lite）。响应文本经TTS模块实时合成，支持ElevenLabs API、XTTSv2本地部署、Piper声学模型三轨并行。整个链路无中间服务依赖，端到端延迟稳定在800ms内（实测Asterisk+RTX4090环境）。

工程友好：开箱即用对接主流API，也支持完全本地化

开发者无需重写呼叫流程逻辑。AVA提供标准FreePBX模块安装包（.tar.gz），安装后自动注册为Asterisk应用（AVA()），可直接在Dialplan中调用：

exten => s,1,AVA(model=deepseek-v3, tts=local-piper)  

配置文件ava.yaml以YAML声明式定义pipeline：指定STT后端（如whisper-cpp: /opt/whisper.bin）、LLM路由策略（按意图关键词切分至不同模型）、TTS fallback链（API失败时自动降级至本地XTTS）。所有LLM调用均走本地http://localhost:8000/v1/chat/completions抽象层，无论背后是Ollama、vLLM还是OpenRouter代理，上层IVR逻辑完全解耦。

隐私与合规：数据不出机房，审计粒度达RTP包级

AVA默认禁用任何外呼日志上传，全部会话音频、ASR文本、LLM prompt/response均落盘于本地/var/log/ava/，支持按日期/主叫号/IVR节点三级索引。RTP流全程不经过公网——Asterisk从SIP终端收音后，直接通过Unix socket将PCM帧送入AVA Python进程，避免NAT穿透与第三方中继。某省级医保热线实测表明：启用AVA后，PCI DSS语音数据存储合规项一次性通过，且因取消云ASR/TTS订阅，年通信成本下降63%。“Agent主权”在这里是实打实的：模型可以调用Claude或DeepSeek，但控制权、数据权、调度权必须握在自己手中。

行业意义：填补语音Agent从Demo到产线的最后一块拼图

当前多数AI语音方案卡在两极：一端是Cursor/Copilot式工具链，只解决开发者单点效率；另一端是Devin/Manus类全自动Agent，但黑盒封闭、不可审计。AVA锚定中间地带——通信系统工程师能用它升级传统IVR，AI工程师能基于其pipeline快速验证新模型在真实通话场景的表现（例如测试Qwen2-Audio在方言客服中的唤醒率）。它不替代龙虾或OpenClaw，但为二者提供了语音触点：龙虾Agent可通过AVA暴露的REST API接收来电事件并返回结构化决策；OpenClaw工作流可将语音任务拆解为ava.stt()→openclaw.route()→ava.tts()原子操作。

下一步行动建议

如果你正在评估语音Agent落地路径：

• 克隆GitHub仓库（github.com/ava-ivr/ava），用docker-compose up -d启动完整环境，5分钟内接入现有FreePBX；
• 将生产环境中一条非核心IVR线路（如“营业时间查询”）切换至AVA，对比传统IVR的平均处理时长与一次解决率（FCR）；
• 在ava.yaml中插入llm: deepseek-v3@http://10.0.1.5:8000，用本地部署的DeepSeek-V3跑通端到端闭环。

语音AI的下一阶段不是更大参数，而是更可控的链路。AVA证明：当AudioSocket遇见Python闭环，当Asterisk拥抱LLM，企业不必在“用大模型”和“守合规”之间二选一。