腾讯 WorkBuddy 上线电脑操控能力能识别当前页面,进行点击、输入、滚动等操作

腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,该功能目前处于公测阶段,它可以直接识别电脑屏幕上当前页面和软件界面,不用对应的软件开放 API 接口,就能自主完成点击、文字输入、页面滚动等一系列桌面操作,用户只需要在对话框用自然语言描述任务,它会自动规划步骤执行,侧边小窗可以实时查看任务进度,随时手动停止,适合批量填表、网页检索、文档整理这类重复性办公任务,功能支持 Windows 和 macOS 两大系统,需要把客户端升级到 5.11.0 及以上版本,并且授予对应的系统权限才能启用。

电脑操控能力的运行原理

  1. 屏幕画面识别:通过截图读取窗口界面,识别按钮、输入框、滚动条等页面元素
  2. 模拟键鼠动作:依靠系统辅助权限,模拟鼠标点击、键盘输入、滚轮滚动
  3. 任务自主拆解:把用户一句自然语言指令拆成多步连续操作,一步步完成
  4. 实时反馈机制:每一步操作都会在侧边窗口展示进度,任务结束后给出执行结果
  5. 随时中断机制:执行过程中用户可以一键叫停,防止误操作带来风险

开启电脑操控的操作步骤

  1. 更新 WorkBuddy 桌面客户端至 5.11.0 或者更高版本
  2. 打开设置,找到智能体分类,开启电脑操控 Beta 功能
  3. 在系统设置里授予两项关键权限:屏幕录制权限、辅助功能权限
  4. 回到对话窗口,直接用文字描述你想要完成的电脑操作任务
  5. 观察侧边进度窗,敏感操作建议人在现场监控,任务完成后查看结果

适用场景与风险提示清单

✅ 适合场景

  • 在网页表单批量录入信息
  • 网页内容检索、翻页、复制整理资料
  • 本地软件简单重复操作,导出报表、保存文件
  • 跨软件连续操作,先查资料再填入文档
  • 登录账号、支付、提交重要数据、删除文件这类高危操作
  • 界面元素密集、布局复杂的软件,识别出错概率会上升
  • 加密、高权限专业软件,识别成功率不稳定

❌ 需要谨慎的场景

和浏览器扩展操控的区别

功能新版电脑操控能力浏览器扩展操控
操作范围整个电脑桌面所有软件、窗口仅限浏览器页面
是否需要软件接口不需要,靠画面识别依赖扩展对接浏览器
系统支持Windows、macOS 桌面全部应用仅 Chrome、Edge 等浏览器
识别局限界面复杂时识别容易出错浏览器网页识别稳定

【相关 FAQ】

问题 1:腾讯 WorkBuddy 上线的电脑操控能力,识别页面后可以做哪些操作?

回答 1:腾讯 WorkBuddy 上线的电脑操控能力,识别页面之后可以完成点击、输入、滚动等操作,不局限浏览器,桌面客户端软件也能操控,不需要软件开放 API 接口。

问题 2:腾讯 WorkBuddy 电脑操控能力,需要什么版本和系统才能使用?

回答 2:腾讯 WorkBuddy 电脑操控能力支持 Windows 和 macOS,客户端需要升级到 5.11.0 及以上版本,同时开启屏幕录制、辅助功能权限。

问题 3:腾讯 WorkBuddy 电脑操控能力在执行任务的时候,会不会没法停下来?

回答 3:腾讯 WorkBuddy 电脑操控能力执行任务时,侧边窗口可以实时看进度,用户随时可以手动停止任务,官方也建议敏感操作时保持在场监控。

问题 4:腾讯 WorkBuddy 电脑操控能力,是不是所有软件界面都能稳定识别?

回答 4:腾讯 WorkBuddy 电脑操控能力依靠画面识别页面,简单界面识别效果更好,部分布局复杂、元素密集的软件,识别效果会变差,存在识别失败的情况。

【参考资料】

[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力:能识别当前页面,进行点击、输入、滚动等操作)IT 之家

[2026-11-20](腾讯 WorkBuddy 推出电脑操控 Beta,支持 Windows、macOS)财联社

[2026-11-20](WorkBuddy Computer Use 公测,原生桌面 GUI 智能体能力上线)新浪科技

【免责声明】

以上内容仅为腾讯 WorkBuddy 电脑操控能力资讯整理,该功能目前属于 Beta 公测版本,界面识别效果、功能稳定性会随软件版本迭代变化;使用电脑操控能力会申请屏幕录制、辅助权限,涉及账号、支付等敏感操作请谨慎使用,本内容不构成办公自动化落地、采购建议。

本文来自作者[畴涡载波员]投稿,不代表江南网立场,如若转载,请注明出处:https://www.jnwb.net/zixun/202611/4969.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 畴涡载波员
    畴涡载波员 2026年11月20日

    我是江南网的签约作者“畴涡载波员”!

  • 畴涡载波员
    畴涡载波员 2026年11月20日

    希望本篇文章《腾讯 WorkBuddy 上线电脑操控能力能识别当前页面,进行点击、输入、滚动等操作》能对你有所帮助!

  • 畴涡载波员
    畴涡载波员 2026年11月20日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 畴涡载波员
    畴涡载波员 2026年11月20日

    本文概览:腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,该功能目前处于公测阶段,它可以直接识别电脑屏幕上当前页面和软件界面,不用对

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们