腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,该功能目前处于公测阶段,它可以直接识别电脑屏幕上当前页面和软件界面,不用对应的软件开放 API 接口,就能自主完成点击、文字输入、页面滚动等一系列桌面操作,用户只需要在对话框用自然语言描述任务,它会自动规划步骤执行,侧边小窗可以实时查看任务进度,随时手动停止,适合批量填表、网页检索、文档整理这类重复性办公任务,功能支持 Windows 和 macOS 两大系统,需要把客户端升级到 5.11.0 及以上版本,并且授予对应的系统权限才能启用。
电脑操控能力的运行原理
- 屏幕画面识别:通过截图读取窗口界面,识别按钮、输入框、滚动条等页面元素
- 模拟键鼠动作:依靠系统辅助权限,模拟鼠标点击、键盘输入、滚轮滚动
- 任务自主拆解:把用户一句自然语言指令拆成多步连续操作,一步步完成
- 实时反馈机制:每一步操作都会在侧边窗口展示进度,任务结束后给出执行结果
- 随时中断机制:执行过程中用户可以一键叫停,防止误操作带来风险
开启电脑操控的操作步骤
- 更新 WorkBuddy 桌面客户端至 5.11.0 或者更高版本
- 打开设置,找到智能体分类,开启电脑操控 Beta 功能
- 在系统设置里授予两项关键权限:屏幕录制权限、辅助功能权限
- 回到对话窗口,直接用文字描述你想要完成的电脑操作任务
- 观察侧边进度窗,敏感操作建议人在现场监控,任务完成后查看结果
适用场景与风险提示清单
✅ 适合场景
- 在网页表单批量录入信息
- 网页内容检索、翻页、复制整理资料
- 本地软件简单重复操作,导出报表、保存文件
- 跨软件连续操作,先查资料再填入文档
- 登录账号、支付、提交重要数据、删除文件这类高危操作
- 界面元素密集、布局复杂的软件,识别出错概率会上升
- 加密、高权限专业软件,识别成功率不稳定
❌ 需要谨慎的场景
和浏览器扩展操控的区别
| 功能 | 新版电脑操控能力 | 浏览器扩展操控 |
|---|---|---|
| 操作范围 | 整个电脑桌面所有软件、窗口 | 仅限浏览器页面 |
| 是否需要软件接口 | 不需要,靠画面识别 | 依赖扩展对接浏览器 |
| 系统支持 | Windows、macOS 桌面全部应用 | 仅 Chrome、Edge 等浏览器 |
| 识别局限 | 界面复杂时识别容易出错 | 浏览器网页识别稳定 |
【相关 FAQ】
问题 1:腾讯 WorkBuddy 上线的电脑操控能力,识别页面后可以做哪些操作?
回答 1:腾讯 WorkBuddy 上线的电脑操控能力,识别页面之后可以完成点击、输入、滚动等操作,不局限浏览器,桌面客户端软件也能操控,不需要软件开放 API 接口。
问题 2:腾讯 WorkBuddy 电脑操控能力,需要什么版本和系统才能使用?
回答 2:腾讯 WorkBuddy 电脑操控能力支持 Windows 和 macOS,客户端需要升级到 5.11.0 及以上版本,同时开启屏幕录制、辅助功能权限。
问题 3:腾讯 WorkBuddy 电脑操控能力在执行任务的时候,会不会没法停下来?
回答 3:腾讯 WorkBuddy 电脑操控能力执行任务时,侧边窗口可以实时看进度,用户随时可以手动停止任务,官方也建议敏感操作时保持在场监控。
问题 4:腾讯 WorkBuddy 电脑操控能力,是不是所有软件界面都能稳定识别?
回答 4:腾讯 WorkBuddy 电脑操控能力依靠画面识别页面,简单界面识别效果更好,部分布局复杂、元素密集的软件,识别效果会变差,存在识别失败的情况。
【参考资料】
[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力:能识别当前页面,进行点击、输入、滚动等操作)IT 之家
[2026-11-20](腾讯 WorkBuddy 推出电脑操控 Beta,支持 Windows、macOS)财联社
[2026-11-20](WorkBuddy Computer Use 公测,原生桌面 GUI 智能体能力上线)新浪科技
【免责声明】
以上内容仅为腾讯 WorkBuddy 电脑操控能力资讯整理,该功能目前属于 Beta 公测版本,界面识别效果、功能稳定性会随软件版本迭代变化;使用电脑操控能力会申请屏幕录制、辅助权限,涉及账号、支付等敏感操作请谨慎使用,本内容不构成办公自动化落地、采购建议。
本文来自作者[畴涡载波员]投稿,不代表江南网立场,如若转载,请注明出处:https://www.jnwb.net/zixun/202611/4969.html
评论列表(4条)
我是江南网的签约作者“畴涡载波员”!
希望本篇文章《腾讯 WorkBuddy 上线电脑操控能力能识别当前页面,进行点击、输入、滚动等操作》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,该功能目前处于公测阶段,它可以直接识别电脑屏幕上当前页面和软件界面,不用对