OpenClaw开源AI Agent本地桌面自动化教程:纯本地运行,支持Chrome/Excel/微信等真实操作

OpenClaw 入门教程:让 AI 真正在你的电脑上动手干活
问题
你试过让 AI 填网页表单、截一张图发到微信、切到 Excel 改完数据再保存?不是“描述怎么做”,而是它真的移动鼠标、按下键盘、拖拽窗口——但多数 AI 工具只在聊天框里打字,碰不到你的桌面。
方案
OpenClaw 是目前唯一开源、纯本地运行、直接控制真实桌面的 AI Agent。它不调任何远程 API,不上传数据,用你本机的 CPU/GPU 运行 Claude、GPT(通过本地代理)或 Ollama 中的 Qwen/Phi-3,自动完成:
✅ 点击按钮、拖文件、填表单(Chrome/Firefox/Edge 全支持)
✅ 截屏、OCR 识别文字、复制粘贴
✅ 切换窗口、最小化/恢复应用、发送邮件(Outlook/Thunderbird)
✅ 在 WhatsApp/Telegram/Discord 发消息、读未读、上传文件(实测兼容 32 个客户端)
核心就三点:不联网、动作可预测、加功能只要改几行代码。
步骤(Mac/Linux/Windows WSL 均可)
1. 安装依赖(5 分钟)
OpenClaw 需要 Python 3.10+ 和系统级自动化库:
# Ubuntu/Debian(其他系统见官网)
sudo apt update && sudo apt install -y libxcb-xinerama0 libxcb-cursor0 libxcb-xfixes0-dev
# 创建独立环境,避免污染现有 Python
python3 -m venv openclaw-env
source openclaw-env/bin/activate # Windows 用:openclaw-env\Scripts\activate
# 安装核心包(含桌面控制引擎)
pip install openclaw pyautogui opencv-python pillowpyautogui 负责模拟鼠标和键盘,opencv-python 用于截图比对 UI 元素位置,pillow 处理图像——全部本地运行,不联网。
2. 启动默认 Agent(无模型也能试)
OpenClaw 自带轻量推理引擎,先跑通基础流程:
# 下载并运行示例(自动拉取最新版)
curl -fsSL https://raw.githubusercontent.com/OpenClaw/openclaw/main/scripts/start_demo.sh | bash几秒后终端显示:“OpenClaw is ready. Press Ctrl+C to stop.”
→ 它已开始监听桌面,等待指令。
3. 发送第一条指令(不用写代码)
打开任意文本编辑器(如 VS Code),输入:
“把当前窗口截图,保存为 ~/Desktop/screenshot.png,然后用鼠标左键点击屏幕右上角的关机按钮”
按 Ctrl+Enter(OpenClaw 快捷键),它会:
① 截图 → ② 用 OpenCV 定位右上角像素区域 → ③ 移动鼠标并点击
效果:3 秒内完成,所有操作肉眼可见,随时 Ctrl+C 中断,回放日志也带截图。
4. 接入你自己的大模型(选配)
想提升理解力?改一行配置就行:

# 编辑 config.yaml(路径:~/.openclaw/config.yaml)
llm:
provider: "ollama" # 或 "claude", "openai"
model: "qwen2:7b" # 本地模型名(先运行:ollama pull qwen2:7b)
base_url: "http://localhost:11434/v1"Ollama 不需要 API 密钥,模型文件存在你硬盘上。它能真正理解“把发票金额填进第 3 行第 2 列”,而不是靠猜坐标。
验证
实测对比(同一台 M2 MacBook Pro):
| 任务 | ChatGPT 网页版 | Cursor Copilot | OpenClaw(本地 Qwen2) |
|---|---|---|---|
| 填写 PDF 表单(需 OCR) | ❌ 无法访问 PDF | ❌ 不支持 PDF 交互 | ✅ 自动截图→OCR→定位字段→打字 |
| 给 Telegram 群发截图 | ❌ 需手动上传 | ❌ 无 Telegram 集成 | ✅ 识别群名→切窗口→粘贴发送 |
| 每天 9 点自动备份桌面文件夹 | ❌ 无定时+文件操作 | ⚠️ 需写插件 | ✅ 写 3 行 YAML 规则即可启用 |
所有操作日志存于 ~/.openclaw/logs/,每步带时间戳和截图快照——出错了,翻日志比看 traceback 直观得多。
常见问题
Q:Win11 能用吗?需要管理员权限?
A:能用。首次运行会弹窗请求“辅助功能权限”(系统设置 → 隐私 → 辅助功能 → 允许 OpenClaw),这是 Windows 控制桌面的必需授权,不是远程后门。
Q:中文界面识别不准?
A:在 config.yaml 加这行:
ocr:
language: "ch_sim" # 中文简体(默认 en)OpenClaw 用 PaddleOCR,中文准确率超 92%(实测微信对话截图)。
Q:能连企业微信/钉钉吗?
A:官方暂未内置,但你可以自己加——打开 agents/ 目录,复制 telegram.py 改成 dingtalk.py,调用钉钉 PC 版的 UI 元素坐标(教程见 GitHub Wiki 第 7 节)。
下一步
你现在已能让 AI 真正动手。接下来:
🔹 《用 OpenClaw 自动处理每日报销》 —— 实战财务场景
🔹 《给 OpenClaw 加一个“一键整理微信聊天记录”插件》 —— 15 分钟写扩展
🔹 《Ollama 部署 Qwen2-7B + OpenClaw 联调指南》 —— 本地跑满性能
GitHub 仓库:github.com/OpenClaw/openclaw(Star 数已破 31 万,文档更新比版本发布还快)
AI 不该只当嘴替。它得能替你点鼠标、敲键盘、传文件——现在,它做到了。