Skip to content

AI 浏览器 ​

在 Halo 里打开网页控制,AI 就能用内置浏览器打开网页、点击、填表、下载文件和整理页面数据,并沿用你已登录的网站。

直接对 Halo 说

打开我的后台,导出上个月的订单

Halo 会在内置浏览器里打开你的后台,找到导出入口,把文件下载到当前工作区的 downloads 文件夹,然后告诉你文件名。

前提:输入框 + › 能力 里的 网页控制 是打开的(新会话默认打开)。后台需要登录的话,先在 Halo 的浏览器里自己登录一次,见 需要登录的网站。

打开网页控制 ​

AI 浏览器在会话里的开关叫 网页控制,新会话默认打开。

  1. 在会话输入框点 +(提示文字「添加文件、上下文和能力」)。
  2. 在 能力 一组里找到 网页控制,说明是「AI 使用你的浏览器操作网页,沿用你的登录状态」。
  3. 打开开关。从你发的下一条消息起生效,当前这轮回复不受影响。
  • 新会话沿用你上一次调过的开关组合。打开旧会话时,保留它自己的设置。
  • 网页控制关着时,AI 会向你申请:Halo 打开 + 面板并高亮这个开关,由你决定是否打开。AI 不能自己打开它。
  • 在和数字人的聊天里看不到这些开关。数字人用的是自己的开关:能力与设置 › 模型与能力 › AI 浏览器(「为网页自动化启用浏览器工具」),默认打开。详见 数字人的能力与设置。

其他能力开关(AI 终端、操作 Halo 等)见 能力。

自己打开浏览器 ​

仅桌面版

想先自己看看网页、登录网站,或者和 AI 用同一个页面,可以自己打开浏览器:

  1. 在会话顶部点 ⋯ 更多 › 打开浏览器(「内置 AI 浏览器窗口」)。也可以按 ⌘T 新开一个标签页,画布关着时也能用。
  2. 浏览器在右侧画布里打开,默认主页是必应。
  3. 在地址栏(「输入网址或搜索必应...」)输入网址后回车。不像网址的文字会当作必应搜索;只输入域名时会自动补上 https://。

工具栏上的其他按钮:

按钮作用
返回 / 前进 / 重新加载 (Ctrl+R) / 主页和普通浏览器一样;加载中时重新加载变成 停止
切换到 H5 移动模式 / 切换到 PC 模式用手机版页面(iPhone 的 Safari 标识、390 像素宽)重新加载
在外部浏览器中打开用你电脑上的默认浏览器打开当前网址
更多选项(截图、缩放、开发者工具)菜单里是英文的 Zoom(50%–200%,每次 10%)、Screenshot(把可见区域复制到剪贴板)和 Developer Tools
  • 网页里弹出的新窗口会在同一个标签页里打开。
  • 内存里最多同时保留 6 个浏览器页面。更早的页面会被释放,切回去时按原网址重新加载;AI 正在用的页面不受影响。
  • 远程访问的网页版和 Android 客户端里没有内置浏览器,打开浏览器 也不会出现,画布里显示「浏览器功能仅在桌面客户端中可用」,可以点 在新窗口中打开 用你自己的浏览器看。从远程客户端发消息时,AI 仍然可以在那台电脑上操作网页,只是你看不到画面。

看 AI 操作并接手 ​

AI 操作网页时,会话里会出现一张卡片:进行中标题是「AI 正在操作浏览器」,结束后是「AI 浏览器操作」。卡片列出每一步(导航、点击、填写、分析页面、下载等),收起时显示最近 3 步。

  1. 点卡片上的 查看实时动态。AI 正在用的页面在画布里打开,标签名是「🤖 AI 浏览器」。
  2. 页面上方有一条「AI 正在操作此浏览器」,旁边显示 实时 或 空闲。
  3. 想自己动手,在同一个页面里直接点击、输入就行。为了不和 AI 抢同一个页面,先在输入框按 Esc(或点 停止生成 (Esc))停下这轮回复,处理完再告诉 AI 接着做。
  • 画布不会自动弹出 AI 的页面,需要你点 查看实时动态。关掉这个标签页只是不看了,AI 还能继续用这个页面。
  • 输入框上方有一条运行中的会话条,列出当前工作区里 AI 自己打开的页面和终端。点开是 活跃会话:打开 可以查看,停止 会在确认「停止此会话?」后关闭这个页面。你自己打开的标签页不会列在这里。
  • 你在 AI 工作时补充的话,会在它做完当前这一步后送到。
  • 和数字人直接聊天、在桌面上点 立即运行 时,数字人的页面也能这样查看。通过 IM、团队协作或计划任务运行时,页面在后台打开,看不到画面。

需要登录的网站 ​

AI 不会替你注册或绕过登录。需要登录的网站,你自己在 Halo 的浏览器里登录一次,之后就可以交给 AI。

  1. 用 ⋯ 更多 › 打开浏览器 打开网站,像平时一样登录。验证码、扫码、短信验证都由你自己完成。
  2. 回到会话,告诉 AI 去做事,例如「打开我的后台,导出上个月的订单」。

Halo 的所有浏览器页面共用一份登录状态:你的标签页、AI 在会话里打开的页面、数字人的页面,以及数字人的登录窗口。登录一次,它们都能用;网站自己让登录过期时,再登录一次即可。

在会话里,AI 能看到你自己打开的标签页和它自己打开的页面,所以也可以在你登录好的那个页面上让它接着做。数字人只能看到它自己打开的页面,但同样沿用你的登录状态。

给数字人登录网站 ​

数字人如果写明了需要哪些网站,会在这几处提示你登录:

位置你会看到
数字人 › 能力与设置 › 所需登录网站列表。点一个网站,会打开单独的登录窗口(「点击在 Halo 浏览器中打开网站并登录。」)
数字人的 工作动态提示条「运行前请登录 example.com」(网站名换成实际的),带 打开并登录 和 已登录,不再显示
数字人页面顶部的 浏览器 按钮列出它的登录网站,也可以在 输入 URL 里填网址后点 打开

浏览器 按钮在数字人有登录网站或打开了 AI 浏览器能力时出现。在远程客户端里点登录,会用你自己的浏览器打开网站,那里的登录不会带到 Halo。

清除浏览器数据 ​

3.0.4 新增 仅桌面版

想退出所有网站,或者换一个账号重新登录:

  1. 打开 设置 › 系统 › 浏览器数据,点 清除浏览器数据。
  2. 在「要清除浏览器数据吗?」里确认。看到「浏览器数据已清除。」就完成了。

DANGER

这会清掉共用浏览器里所有网站的 Cookie、网站存储和缓存,你、AI 和所有数字人用的网站都会退出登录,无法撤销。Halo 自己的数据不受影响。已打开的页面会重新加载。

下载的文件在哪里 ​

AI 下载的文件会直接保存,不弹出另存为对话框:

  • 保存在当前会话或数字人所在工作区的 downloads 文件夹里。少数不属于任何工作区的情况,保存到系统「下载」文件夹下的 halo-ai 里。
  • 同名文件会自动改名,不会覆盖。像 CLAUDE.md 这类会被 AI 当成指令读取的文件名,会存成 CLAUDE (downloaded).md。
  • 会话卡片上这一步显示为「下载」,等待时显示「等待下载」。下载完成后,AI 会告诉你文件路径和大小。

你自己在浏览器里点的下载,仍然会弹出普通的保存对话框。

AI 能做什么 ​

网页控制打开后(数字人是 AI 浏览器能力),AI 可以:

操作说明
打开网页打开网址,可以用电脑版或手机版(H5)页面;默认最多等 30 秒加载
读懂页面读取页面的文字和结构,纯文本模型也能用
截图可见区域、某个元素或整页;图片长边最多 1568 像素,看图需要支持图片的模型
点击和键盘单击、双击、拖放、悬停展开菜单、按回车或快捷键
填写表单一次填多个字段,并核对每个字段实际填进去的内容;密码字段只报告长度
上传文件把你电脑上的文件传到网页的上传框
下载文件见 下载的文件在哪里
等待等页面出现某段文字再继续,默认 30 秒
运行脚本在页面里执行一段 JavaScript(如滚动、取数据),或运行工作区里写好的脚本文件,最长 120 秒
管理标签页列出、新建、切换、关闭(最后一个不能关)
检查网络和控制台查看网页发出的请求和报错,用来排查页面为什么不工作

做不到的事:

  • 网页弹出的原生提示框(alert、confirm)AI 处理不了,需要你点掉。
  • 验证码、扫码、短信验证需要你自己完成。
  • 不保证能通过网站的机器人检测。

可以这样说:

帮我在京东上搜机械键盘,筛出 300–600 元之间评分最高的几款,告诉我各自的优缺点。

打开 Hacker News,汇总今天评论最多的 5 条,给我一份摘要。

打开公司的工单系统,帮我填今天的日报:完成了登录模块的单元测试。

允许访问的网站 ​

INFO

公司提供的 Halo 可能限制内置浏览器能打开哪些网站。公开发行版不做限制。

被限制的网站会显示「访问受限」页面。如果你的版本允许自己添加网站:

  1. 在受限页面上点 允许 example.com 并重试(显示的是被限制的网址),或打开 设置 › 系统 › 浏览器允许的站点。
  2. 输入 example.com 或 *.example.com(也可以是完整网址、IPv4 地址或网段如 10.0.0.0/8),点 添加。
  3. 新网站出现在「由你添加」里,不需要时点 移除。「内置网站」由公司设定,不能修改。

自己添加的网站只会扩大可访问范围。版本不允许添加时,设置里没有这张卡片,需要联系提供 Halo 的管理员。

User-Agent ​

仅桌面版

内置浏览器默认以桌面版 Chrome 的身份访问网站,切到 H5 模式时以 iPhone Safari 的身份访问。个别网站需要特定的浏览器标识时,可以自定义:

  1. 打开 设置 › 系统 › 浏览器 User-Agent。
  2. 填入 User-Agent 字符串(最多 1024 个字符),点 保存。立即应用到所有已打开的浏览器页面,也包括数字人的登录窗口。
  3. 想恢复默认,清空后保存。

自定义的 User-Agent 在 H5 模式下同样生效。有些网站把登录状态和浏览器标识绑在一起,改了之后可能需要重新登录。

数字人的浏览器动作 ​

数字人每天重复同一套网页操作时,可以把步骤写成脚本,让它更快、更稳。写法见 生产级数字人 › 浏览器脚本。

完成

会话里出现「AI 浏览器操作」卡片,点 查看实时动态 能看到 AI 正在用的页面,就说明 AI 浏览器在工作。

遇到问题 ​

AI 说它不能操作网页 ​

网页控制被关掉了。按 AI 的提示在 + › 能力 里打开 网页控制,再发一条消息。开关从下一条消息起生效。

AI 打开网站后停在登录页 ​

这个网站还没登录,或者登录过期了。按 需要登录的网站 自己登录一次,再让 AI 重试。

页面显示「访问受限」 ​

你的 Halo 版本限制了可以打开的网站,见 允许访问的网站。

网页打不开,公司网络要走代理 ​

内置浏览器默认用系统代理。要让它走 Halo 里设置的代理,在 设置 › 系统 › 代理 填好代理地址后,打开 同时应用于AI浏览器。

在网页版或手机上看不到浏览器 ​

内置浏览器只在桌面版里有。AI 的操作仍在运行 Halo 的那台电脑上进行,回到那台电脑上就能查看。

找不到 AI 下载的文件 ​

看当前工作区的 downloads 文件夹,见 下载的文件在哪里。

复杂网页上 AI 浏览器仍可能出错。遇到问题欢迎在 GitHub Issues 反馈。

下一步 ​

基于 MIT 协议开源 · Open source under the MIT license