OpenClaw本地AI自动化工具实测:支持屏幕识别+鼠标操作的国产开源RPA方案

国产“AI龙虾”实战指南:OpenClaw与8款主流平替横评(2026)
问题
你试过让AI填一张网页表格、把微信聊天截图里的数字抄进Excel、或者在剪映里自动拖时间轴导出视频吗?
以前得写Python脚本,接OCR,再套UI自动化库——现在只要说一句:“把截图里第3行电话号码填到Chrome打开的CRM系统第2个输入框”,它就真动手干。
但市面上的工具要么必须联网(隐私敏感场景不敢用)、要么硬要GPU(RTX 4090起步)、要么只能调API不能点鼠标……能本地跑、看得见屏幕、动得了鼠标、跨软件干活的,几乎没有。
方案
OpenClaw(官网 yitb.com,昵称“AI龙虾”) 是目前唯一开源、纯本地、不依赖云服务、支持全桌面GUI操控的智能体框架。它不调任何外部大模型API,所有视觉理解、动作决策、系统调用都在你本地完成——WiFi断了,它照样点按钮、拖窗口、切应用。
核心能力就三件事:
✅ 看:实时截屏 + 视觉理解(用本地小模型分析当前画面)
✅ 想:基于屏幕内容+你的指令,生成下一步操作(点击/输入/滚动/切换应用)
✅ 做:调用系统级API真实执行(Windows用UIAutomation,macOS用AXAPI,Linux用xdotool)
不是模拟点击,是操作系统认的真操作。
步骤:5分钟本地跑起来(Windows/Mac通用)
1. 安装依赖
OpenClaw需要Python 3.11+ 和系统级UI控制权限。跳过这步会报错“无法获取窗口句柄”。
# 先装Python 3.11(官网python.org下载安装包,勾选“Add Python to PATH”)
# 然后终端执行:
pip install openclaw[desktop]✅[desktop]会自动装好pyautogui(鼠标键盘)、mss(高速截图)、pywin32(Windows)或pyobjc(Mac)——少装一个,鼠标就动不了。
2. 启动龙虾
它自带默认模型(Qwen2-VL-0.5B量化版),16GB内存笔记本可跑:
openclaw --mode desktop✅ 没参数也能启动:自动检测屏幕分辨率、适配DPI缩放、缓存最近10次截图供视觉模型参考。
3. 下达第一个指令(实测场景:自动填表)
打开浏览器,访问 https://yitb.com/demo/form(龙虾官网测试页),页面有3个输入框。
在OpenClaw终端输入:
“把我的手机号 138**1234 填进第二个输入框,然后点提交按钮”
你会看到:
🔹 龙虾立刻截屏 → 识别页面结构 → 定位第2个<input> → 模拟键盘输入 → 找到“提交”按钮坐标 → 真实鼠标点击
🔹 全程耗时约3.2秒(i5-12400 + 16GB RAM 实测)
验证:我们测了什么?
同一台机器(MacBook Pro M2, 16GB)跑8款工具,任务:从钉钉聊天截图中提取订单号,粘贴到飞书多维表格第5行“订单ID”列
| 工具名 | 是否本地运行 | 最低显存 | 能否识别截图文字 | 能否跨App操作(钉钉→飞书) | 指令失败率(10次) |
|---|---|---|---|---|---|
| OpenClaw(龙虾) | ✅ 是 | 0GB | ✅ OCR+视觉定位 | ✅ 切应用+找窗口+粘贴 | 0% |
| Dify(本地部署) | ✅ 是 | 6GB | ✅ 但需手动传图 | ❌ 只能调API,不控桌面 | 100%(根本不动鼠标) |
| Coze桌面版 | ❌ 依赖云 | - | ✅ 但截图要上传 | ❌ 无系统权限 | 100% |
| Ollama+AutoGen | ✅ 是 | 8GB | ❌ 无视觉模块 | ❌ 无GUI动作层 | 100% |
| ...(其余5款略) | — | — | — | — | — |
结论:只有龙虾真正打通“看-想-做”闭环,且全程不碰你数据。
👉 Binance · OKX · Gate.io · HTX · Bitget
常见问题
Q:需要NVIDIA显卡吗?
A:不需要。CPU可跑(Intel i5-1135G7实测流畅),M系列Mac直接用Metal加速。
Q:能操作微信PC版吗?
A:能。但微信PC版启用了防自动化保护,首次运行需在微信设置里关闭“禁止第三方软件控制”(路径:设置→通用设置→勾掉该选项)。
Q:中文指令不准怎么办?
A:加一句“请用中文思考,用中文输出动作步骤”。龙虾默认启用中文思维链(Chain-of-Thought),加提示词准确率从82%升至96%。
下一步
✅ 你现在已掌握“AI龙虾”最硬核的能力:本地、可视、可操作。
➡️ 进阶实战:《用OpenClaw自动整理微信文件夹:识别聊天截图→提取日期→新建文件夹→重命名PDF》
➡️ 深度配置:《给龙虾装上自定义OCR引擎(PaddleOCR)和本地大模型(Qwen2.5-7B-Int4)》
👉 全部教程已在 yitb.com/openclaw-tutorials 更新,含完整代码+录屏演示。
别再让AI只“说”不“做”——你的电脑,该有个真动手的AI同事了。