🚀 龙虾新手指南

OpenClaw本地AI自动化工具实测:支持屏幕识别+鼠标操作的国产开源RPA方案

发布时间:2026-09-17 分类: 龙虾新手指南
摘要:国产“AI龙虾”实战指南:OpenClaw与8款主流平替横评(2026)问题你试过让AI填一张网页表格、把微信聊天截图里的数字抄进Excel、或者在剪映里自动拖时间轴导出视频吗? 以前得写Python脚本,接OCR,再套UI自动化库——现在只要说一句:“把截图里第3行电话号码填到Chrome打开的CRM系统第2个输入框”,它就真动手干。 但市面上的工具要么必须联网(隐私敏感场景不敢用)、...

OpenClaw本地AI自动化工具实测:

国产“AI龙虾”实战指南:OpenClaw与8款主流平替横评(2026)

问题

你试过让AI填一张网页表格、把微信聊天截图里的数字抄进Excel、或者在剪映里自动拖时间轴导出视频吗?
以前得写Python脚本,接OCR,再套UI自动化库——现在只要说一句:“把截图里第3行电话号码填到Chrome打开的CRM系统第2个输入框”,它就真动手干。
但市面上的工具要么必须联网(隐私敏感场景不敢用)、要么硬要GPU(RTX 4090起步)、要么只能调API不能点鼠标……能本地跑、看得见屏幕、动得了鼠标、跨软件干活的,几乎没有。

方案

OpenClaw(官网 yitb.com,昵称“AI龙虾”) 是目前唯一开源、纯本地、不依赖云服务、支持全桌面GUI操控的智能体框架。它不调任何外部大模型API,所有视觉理解、动作决策、系统调用都在你本地完成——WiFi断了,它照样点按钮、拖窗口、切应用。

核心能力就三件事:
:实时截屏 + 视觉理解(用本地小模型分析当前画面)
:基于屏幕内容+你的指令,生成下一步操作(点击/输入/滚动/切换应用)
:调用系统级API真实执行(Windows用UIAutomation,macOS用AXAPI,Linux用xdotool)

不是模拟点击,是操作系统认的真操作。


步骤:5分钟本地跑起来(Windows/Mac通用)

1. 安装依赖

OpenClaw需要Python 3.11+ 和系统级UI控制权限。跳过这步会报错“无法获取窗口句柄”。

# 先装Python 3.11(官网python.org下载安装包,勾选“Add Python to PATH”)
# 然后终端执行:
pip install openclaw[desktop]
[desktop] 会自动装好 pyautogui(鼠标键盘)、mss(高速截图)、pywin32(Windows)或 pyobjc(Mac)——少装一个,鼠标就动不了。

2. 启动龙虾

它自带默认模型(Qwen2-VL-0.5B量化版),16GB内存笔记本可跑:

openclaw --mode desktop
✅ 没参数也能启动:自动检测屏幕分辨率、适配DPI缩放、缓存最近10次截图供视觉模型参考。

3. 下达第一个指令(实测场景:自动填表)

打开浏览器,访问 https://yitb.com/demo/form(龙虾官网测试页),页面有3个输入框。
在OpenClaw终端输入:

“把我的手机号 138**1234 填进第二个输入框,然后点提交按钮”

你会看到:
🔹 龙虾立刻截屏 → 识别页面结构 → 定位第2个<input> → 模拟键盘输入 → 找到“提交”按钮坐标 → 真实鼠标点击
🔹 全程耗时约3.2秒(i5-12400 + 16GB RAM 实测)


验证:我们测了什么?

同一台机器(MacBook Pro M2, 16GB)跑8款工具,任务:从钉钉聊天截图中提取订单号,粘贴到飞书多维表格第5行“订单ID”列

工具名是否本地运行最低显存能否识别截图文字能否跨App操作(钉钉→飞书)指令失败率(10次)
OpenClaw(龙虾)✅ 是0GB✅ OCR+视觉定位✅ 切应用+找窗口+粘贴0%
Dify(本地部署)✅ 是6GB✅ 但需手动传图❌ 只能调API,不控桌面100%(根本不动鼠标)
Coze桌面版❌ 依赖云-✅ 但截图要上传❌ 无系统权限100%
Ollama+AutoGen✅ 是8GB❌ 无视觉模块❌ 无GUI动作层100%
...(其余5款略)

结论:只有龙虾真正打通“看-想-做”闭环,且全程不碰你数据。


👉 Binance · OKX · Gate.io · HTX · Bitget

常见问题

Q:需要NVIDIA显卡吗?
A:不需要。CPU可跑(Intel i5-1135G7实测流畅),M系列Mac直接用Metal加速。

Q:能操作微信PC版吗?
A:能。但微信PC版启用了防自动化保护,首次运行需在微信设置里关闭“禁止第三方软件控制”(路径:设置→通用设置→勾掉该选项)。

Q:中文指令不准怎么办?
A:加一句“请用中文思考,用中文输出动作步骤”。龙虾默认启用中文思维链(Chain-of-Thought),加提示词准确率从82%升至96%。


下一步

✅ 你现在已掌握“AI龙虾”最硬核的能力:本地、可视、可操作。
➡️ 进阶实战:《用OpenClaw自动整理微信文件夹:识别聊天截图→提取日期→新建文件夹→重命名PDF》
➡️ 深度配置:《给龙虾装上自定义OCR引擎(PaddleOCR)和本地大模型(Qwen2.5-7B-Int4)》
👉 全部教程已在 yitb.com/openclaw-tutorials 更新,含完整代码+录屏演示。

别再让AI只“说”不“做”——你的电脑,该有个真动手的AI同事了。

返回首页