AI 不看螢幕怎麼操作電腦？看懂開源 Vercel 的 agent-desktop
YouTube 影片重點整理
AI 不看螢幕怎麼操作電腦？看懂開源 Vercel 的 agent-desktop
影片介紹 Vercel Labs 的開源工具 agent-desktop，並將它與以截圖辨識畫面、移動滑鼠點擊的 Computer Use 做法對照。影片稱，agent-desktop 讀取作業系統為無障礙功能提供的無障礙樹，將畫面元素整理成附有編號的清單；AI 可讀取清單、執行指定編號的動作，再讀取一次確認結果。影片列出三項好處：可先讀取大綱、只展開需要的區塊；動作透過系統送出而不碰滑鼠；多個 AI 可在同一台電腦上各自使用游標。影片也指出，遊戲或畫布等缺少元素資訊的畫面仍須改用截圖，且 AI 能讀取畫面內容，因此有人將其放在虛擬機中執行以隔離私人檔案。
01
不看畫面，而是讀取系統提供的元素結構
00:43影片將 agent-desktop 的基礎描述為作業系統內建的「畫面說明書」：無障礙樹原先用來讓螢幕閱讀器知道每個按鈕的名稱與可否操作。
工具把這份結構轉成 AI 可讀的清單，並為元素編號；AI 依序讀取、執行指定編號、再讀取確認。
無障礙樹02
影片對比的三項特性
01:22影片表示，可先看複雜應用程式的大綱，只展開需要的區塊；官方示範中，整個視窗的 75 個元素可縮小到一張地點卡片的 45 個元素。
影片也表示，動作直接透過系統送出、不會碰滑鼠，使用者可繼續工作；多個 AI 則可同時使用同一台電腦，且各自有自己的游標。
AI 電腦操作03
仍需截圖的情況與隔離提醒
02:05遊戲或畫布等缺少元素資訊的畫面，無障礙樹可能無法表達，影片說此時仍需要工具提供的截圖指令。
影片也提醒 AI 能讀取畫面上的內容；其中提到有人把它放入虛擬機執行，讓 AI 只能看到虛擬機內的畫面，以避免碰到私人檔案。
安全性下次看到 AI 操作電腦，可以問：它是在看照片猜，還是在讀說明書？
重點時間戳索引
- 00:15Computer Use 透過截圖辨識按鈕位置、移動滑鼠操作，再以新截圖確認；影片認為此法消耗算力、畫面變動時容易猜錯，也會占用滑鼠。
- 00:43agent-desktop 改讀作業系統的無障礙樹；這份結構原本供螢幕閱讀器辨識按鈕名稱與是否可操作。
- 01:00工具把無障礙樹整理成 AI 可讀的編號清單；流程為讀清單、執行指定編號，再重新讀取確認。
- 01:22影片的官方示範提到：整個視窗有 75 個元素，而只查看地點卡片時可縮至 45 個元素，作為可局部展開的例子。
- 01:36動作直接透過系統送出、不碰滑鼠，因此使用者可繼續工作；多個 AI 可同時使用同一台電腦，並各有自己的游標。
- 02:05遊戲或畫布等畫面可能無法由無障礙樹表達，仍須使用工具提供的截圖指令；影片同時提醒 AI 可讀取畫面內容，並提到以虛擬機隔離的做法。
⚠️ 未確認 / 無法核對項目
- 影片未提供可用的 YouTube 逐字稿；主文依 Whisper 語音辨識與官方影片描述整理。Whisper 在 01:51 的產品／工具名稱辨識不清，未納入主文。
🎙️ ASR 漂字對照表
| Versel | → | Vercel |
| Agent Dash Desktop | → | agent-desktop |
| 无障碍书 | → | 無障礙樹 |
| 按辩号 | → | 按編號 |
| 图片很稍算力 | → | 圖片很燒算力 |
📎 原始內容（查證 / AI 追查用，非閱讀主文，點擊展開）
Whisper 原始輸出
1 00:00:00,000 --> 00:00:04,800 AI 帮你操作电脑,最聪明的做法可能是根本不看荧幕 2 00:00:04,800 --> 00:00:10,540 Versel刚开人的 Agent Dash Desktop,才三天就破140万次观看 3 00:00:10,540 --> 00:00:14,840 三分钟看懂它跟现在的 AI 操作电脑差在哪 4 00:00:14,840 --> 00:00:18,980 现在主流的做法叫 Computer Use 5 00:00:18,980 --> 00:00:21,100 就是让 AI 直接用你的电脑 6 00:00:21,100 --> 00:00:25,400 流程是先截图, AI 看图拆按钮在哪 7 00:00:25,400 --> 00:00:28,320 移动滑鼠点下去,再截一张确认 8 00:00:28,320 --> 00:00:32,400 就像隔着一张照片远端指挥别人按按钮 9 00:00:32,400 --> 00:00:36,860 问题是,图片很稍算力,画面一动就猜错 10 00:00:36,860 --> 00:00:39,800 还要占用你的滑鼠,你只能在旁边干等 11 00:00:39,800 --> 00:00:42,860 Agent Desktop 换了一条路 12 00:00:42,860 --> 00:00:46,760 其实,你的电脑里本来就有一份画面说明书 13 00:00:46,760 --> 00:00:50,440 它是作业系统替视障朋友准备的 14 00:00:50,440 --> 00:00:55,280 萤幕阅读器靠它念出每个按钮叫什么,能不能按 15 00:00:55,280 --> 00:00:59,360 这份说明书叫做无障碍书 16 00:00:59,360 --> 00:01:03,820 Agent Desktop 把它整理成 AI 读得懂的清单 17 00:01:03,820 --> 00:01:07,900 再帮每个按钮发一个编号 18 00:01:07,900 --> 00:01:09,900 AI 不用猜位置,只要说按下 18 19 00:01:09,900 --> 00:01:11,900 按完再读一次确认 20 00:01:11,900 --> 00:01:15,360 画面变了,它会收到提醒,重读一次就好 21 00:01:15,360 --> 00:01:17,900 读清单,按辩号再确认 22 00:01:17,900 --> 00:01:19,900 整套就这三步 23 00:01:19,900 --> 00:01:21,900 这样做有三个好处 24 00:01:21,900 --> 00:01:23,560 第一,省 25 00:01:23,560 --> 00:01:25,800 复杂的APP可以先看大纲 26 00:01:25,800 --> 00:01:27,740 只展开需要的那一块 27 00:01:27,740 --> 00:01:31,440 官方示范里整个视窗 75个元素 28 00:01:31,440 --> 00:01:34,180 只看地点卡片剩45个 29 00:01:34,180 --> 00:01:36,320 第二,不抢你的电脑 30 00:01:36,320 --> 00:01:38,480 动作直接透过系统送出 31 00:01:38,480 --> 00:01:39,520 不碰滑鼠 32 00:01:39,520 --> 00:01:41,760 你继续工作,它在背景做 33 00:01:41,760 --> 00:01:45,720 第三,好几个 AI 可以同时用同一台电脑 34 00:01:45,720 --> 00:01:48,160 每个都有自己的游标 35 00:01:48,160 --> 00:01:51,160 Mac OS, Windows, Linux 都能用 36 00:01:51,160 --> 00:01:54,240 Reho 会写程式的 AI 都能接上 37 00:01:54,240 --> 00:01:57,360 最新1.1版,连 Dock 选单列 38 00:01:57,360 --> 00:01:59,340 控制中心都能操作 39 00:01:59,340 --> 00:02:02,740 打字还看得到游标在跑 40 00:02:02,740 --> 00:02:04,880 当然,它也有限制 41 00:02:04,880 --> 00:02:07,780 有些画面,像游戏或画布 42 00:02:07,780 --> 00:02:09,640 说明书写不出来 43 00:02:09,640 --> 00:02:12,880 这时还是得用它另外提供的截图指令 44 00:02:12,880 --> 00:02:15,820 还有,AI 读得到你画面上的东西 45 00:02:15,820 --> 00:02:18,060 所以有人把它放进虚拟机里跑 46 00:02:18,060 --> 00:02:19,460 AI 只看得到里面 47 00:02:19,460 --> 00:02:21,600 私人档案碰不到 48 00:02:21,600 --> 00:02:24,200 所以下次看到 AI 操作电脑 49 00:02:24,200 --> 00:02:25,440 可以问一句 50 00:02:25,440 --> 00:02:27,300 它是在看照片猜 51 00:02:27,300 --> 00:02:28,940 还是在读说明书? 52 00:02:28,940 --> 00:02:31,300 Agent Desktop 开源免费 53 00:02:31,300 --> 00:02:32,740 一行指令就能装 54 00:02:32,740 --> 00:02:33,940 你会让它在背景 55 00:02:33,940 --> 00:02:35,240 先帮你做哪件事?