Vercel「agent-desktop」を解説|アクセシビリティツリーで操作するAIエージェント

Vercel Labsは2026年10月下旬、AIエージェントがデスクトップアプリを操作するオープンソースプロジェクト「agent-desktop」をv1.0へ進めました。Rust製CLIとCライブラリで、macOS・Windows・LinuxのアプリをOSのアクセシビリティツリーから読み取り、操作可能な要素に割り当てたrefを使って動かします。

GitHub ReleasesのLatestはv1.0.2です。画面のスクリーンショットから座標を推測するタイプのComputer Useとは違い、agent-desktopは構造化されたUIをsnapshotとして取得し、エージェントがrefを指定して操作します。

この違いは、企業がデスクトップ自動化を導入するときの責任分界に関わります。agent-desktopはLLMではなく、観測と操作を担う部品です。OS権限、実行主体、承認ゲート、画面情報を含むログの扱いを、呼び出し側のエージェント基盤と分けて設計する必要があります。

※本記事は2026年11月2日時点の情報です。

snapshotで観測し、refを指定して操作し、もう一度snapshotで結果を確かめる流れ
観測、refでの操作、再観測の3段階を繰り返す

agent-desktopとは|v1.0.2まで進んだRust CLIとCライブラリ

agent-desktopは、AIエージェントがデスクトップアプリを読み取り、操作するためのツールです。リポジトリの説明では、OSのアクセシビリティツリーを観測の情報源とし、ピクセル照合ではなく、UIの構造とrefを使う設計を掲げています。

GitHub Releasesではv1.0.0が2026年10月28日付で公開され、その後も更新されました。v1.0.0ではLinux対応と、macOS・Windows・Linux向けの統合CLI、Cライブラリ、npmパッケージがリリースの対象になっています。v1.0.2では権限ガイドやnpmランチャーの通知などが改善されました。

対応OSはmacOS、Windows、Linuxです。npmパッケージとリリースアーカイブにはx64とARM64向けのネイティブバイナリとプラットフォームヘルパーが含まれます。ライセンスはApache-2.0で、個人・商用利用を認める説明です。

Gemini Enterprise Agent Platformと比べると、agent-desktopはモデルや業務フローではなく、デスクトップの観測・操作部品だと分かります。

ポイント

agent-desktopはAIモデルではなく、エージェントがデスクトップを観測・操作する実行部品です。導入判断では、利用するモデルの比較と同じくらい、呼び出し側の権限・承認・ログ設計を確認します。

アクセシビリティツリーとref|画面画像ではなく構造を読んで操作する

基本の流れは、snapshotで観測し、返ってきたrefを指定して操作し、もう一度snapshotを取得する3段階です。snapshotはJSONを返し、ボタンやテキストフィールドなどの操作対象に、@s8f3k2p9:e8のようなqualified refを付けます。

refの形式にはsnapshot IDが組み込まれた構造です。FAQでは、snapshot lookupは選択したセッションの名前空間に限定され、@e8のようなbare refはINVALID_ARGSになると説明しています。別の画面や別セッションで同じ番号を使い回す設計ではありません。

画面の状態が変われば、refもそのまま使えるとは限りません。対象が消えた、別の要素になった、候補が複数になったといった場合、STALE_REFやAMBIGUOUS_TARGETが返ります。エラーには再観測や再試行に関する機械可読の情報が含まれるため、エージェントはsnapshotを取り直してから操作を続けます。

観点スクリーンショット型Computer Useagent-desktop
主な観測単位画面画像OSのアクセシビリティツリー
操作の指定画像上の位置や座標snapshotに含まれるqualified ref
状態変化への対応画面を再取得して位置を読み直す新しいsnapshotからrefを再取得
主な出力形式画像と操作指示JSONのdata・errorとref
スクリーンショットのピクセル照合で操作する方式と、アクセシビリティツリーのrefで操作するagent-desktopの違い
ピクセルではなく、UIの構造とrefで操作対象を指定する

ポイント

qualified refは画面上の座標を永続IDに変えたものではありません。refはsnapshotとセッションに束縛されるため、操作前後の観測と、失敗時に止めて再取得する処理を最初から組み込みます。

ヘッドレス・OS対応|操作できる範囲は権限と実行環境で決まる

agent-desktopの標準操作はヘッドレスです。macOSではヘッドレス呼び出しが前面化と合成入力を禁止し、アクセシビリティAPIによる操作を優先します。物理入力が必要な場合は、グローバルフラグ--headedを使います。スクリーンショットは別コマンドとして用意されていますが、ref操作にピクセル照合は要りません。

OSの対応表だけを見て導入を決めるのは危険です。macOSではAccessibility権限が必要で、スクリーンショットにはScreen Recording権限も必要です。通知センターを開く機能には、System EventsのAutomation権限が関わります。

Windowsは、エージェントと対象アプリが同じ整合性レベルなら追加の許可なしで扱えます。ただし、管理者権限で動くアプリへ入力するには、エージェント側も昇格が必要です。Linuxはユーザーのグラフィカルセッションとat-spi2-coreが必要で、公式ドキュメントの主要対象はUbuntu 24.04以降、GNOME 46、glibc 2.35以上です。

npmではnpm install -g agent-desktopで導入できます。install scriptがブロックされるとNodeランチャーが使われ、公式ドキュメントの測定では1回あたり約146msです。スクリプト有効時の約21msより遅くなるため、実行ポリシーを確認します。

  • macOS:Accessibility権限。スクリーンショットにはScreen Recording権限
  • Windows:対象アプリの整合性レベルに合わせてエージェントを実行
  • Linux:グラフィカルセッション、at-spi2-core、対応するデスクトップ環境

ポイント

「macOS・Windows・Linux対応」は、そのまま全端末で使えるという意味ではありません。PoCでは対象OS、ログイン中のセッション、必要な権限、対象アプリがアクセシビリティ情報を公開するかを確認します。

データと権限|画面を見なくても機密情報はログに残る

ヘッドレスは、画面を人が見ないという実行モードです。取得したデータが無害になるわけではありません。agent-desktopのFAQは、snapshotツリー、ウィンドウタイトル、クリップボード、通知、スクリーンショット、コマンド結果に、調査対象のデスクトップ情報が含まれ得ると説明しています。

デバッグHTMLにはスクリーンショットとアクセシビリティデータが埋め込まれ、セッショントレースには証跡が残る場合があります。構造化フィールドを秘匿しても、スクリーンショットや証跡まで安全になるとは限りません。保存先、閲覧者、保持期間、削除方法をログ設計の一部として決めます。

ネイティブCLIはリモートモデルサービスを必要としません。一方、リポジトリにある任意のJEVヘルパーは、画面説明や目標を設定したプロバイダーへ送ります。値の抑制を有効にしても、ラベル、タイトル、祖先パス、目標に含まれる私的テキストまで完全に消えるわけではありません。

操作主体には、人のアカウントをそのまま渡さない設計です。専用の非人間IDに権限を絞り、送信、削除、権限変更などの高リスク操作を承認必須に分けます。AIエージェントのIDと監視の考え方は、非人間IDの権限管理を検討するときの基礎にもなります。

snapshot、クリップボード、スクリーンショット、トレースは機密情報を含みうるデータとして管理する
画面やクリップボードの内容もデータ資産として扱う

ポイント

「ネイティブCLIは外部モデルを要求しない」ことと、「実行中のデータが機密情報を含まない」ことは別です。画面・クリップボード・トレースをデータ資産として分類し、任意の外部ヘルパーは送信先と利用目的を分けて審査します。

導入手順|可逆的な操作でrefの失敗と監査を測る

導入の最初の仕事は、エージェントに多くの操作を与えることではありません。対象アプリと操作を限定し、失敗しても人が戻せる業務を選びます。agent-desktopは60コマンドを持つため、最初から全機能を許可せず、必要な観測・入力・ウィンドウ操作だけを使う構成が現実的です。

PoCでは、同じ初期状態からsnapshotを取り、refを使って一つの操作を実行し、再びsnapshotで結果を読む流れを固定する設計です。成功率だけでなく、STALE_REF、AMBIGUOUS_TARGET、権限エラー、停止した理由、再試行の回数を記録します。

  1. 業務を絞る:照会や定型入力など、失敗しても戻せる操作から始める
  2. 実行主体を分ける:専用ID、最小権限、対象アプリを決める
  3. 観測を残す:snapshot、操作、エラー、再取得の順序を記録する
  4. 承認を置く:送信、削除、権限変更は人の確認を経てから実行する

アプリケーションへ組み込む場合は、C ABIも選択肢になります。ad_init、ad_snapshot、ad_execute_by_refの流れを監査ログと停止処理へ接続する設計です。JSONエラーのコードと再試行の安全性も保存対象です。

AIエージェントに操作権限を集約すると、単一の指示ミスが複数のシステムへ広がります。権限の分離、操作の承認、実行記録を先に決めることは、評価用AIの自律侵入事例から学ぶ権限管理とも共通します。

ポイント

PoCの合格条件は、1回操作できることではありません。同じ初期状態で再現でき、失敗時に止まり、refを取り直して復旧でき、誰がどの権限で何を実行したかを説明できることです。

よくある質問

Q. agent-desktopはAIモデルそのものですか?

いいえ。agent-desktopはLLMを埋め込まないRust製CLIとCライブラリで、observe-actのループは呼び出し側のエージェントが担います。

Q. スクリーンショットを使わずにデスクトップアプリを操作できますか?

はい。基本の観測と操作はOSのアクセシビリティツリーとqualified refを使います。スクリーンショットは別コマンドとして用意される仕様です。

Q. agent-desktopの導入で最初に確認すべき権限は何ですか?

macOSではAccessibility権限を確認し、スクリーンショットを使うならScreen Recording権限も確認します。Linuxではグラフィカルセッションとat-spi2-core、Windowsでは対象アプリとの整合性レベルの確認が必要です。

Q. 取得した画面やログを外部へ送信しますか?

ネイティブCLIはリモートモデルサービスを必要としませんが、snapshotやログは私的情報を含み得ます。任意のJEVヘルパーを使う場合は、画面説明や目標が設定したプロバイダーへの送信対象です。

まとめ

Vercel Labsのagent-desktopは、アクセシビリティツリーとqualified refを使ってデスクトップアプリを操作するRust製CLIとCライブラリです。v1.0.0の公開後も更新が続き、調査日時点ではv1.0.2がLatestでした。

企業が導入するときは、画面を人が見ないヘッドレス運用を安全性と同一視しないことが出発点です。OS権限、専用ID、承認が必要な操作、ログとトレースの保存先、任意ヘルパーによる外部送信を分けて設計します。まずは可逆的な操作でsnapshotとrefの再取得、失敗時の停止、監査の再現性を測ってください。

ポイント

agent-desktopの価値は、画面を操作できることだけではありません。構造化された観測、エラーに応じた停止と再取得、OSとデータの境界を組み合わせて、業務自動化を説明可能な単位へ分解できることにあります。

会社紹介

株式会社riplaでは、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを、構想策定・要件定義から開発・改善まで一気通貫で支援。事業会社でIT・DXを経験したプロフェッショナルによる高い要件定義力・システム設計力を活かし、事業成果の最大化に伴走します。

また、当社独自の開発テンプレート「Boxシリーズ」による標準機能の高速開発と、AI駆動開発の独自フレームワーク「GoDD」による独自機能のAI実装を組み合わせることで、低コスト・短期間で開発を実現いたします。

もし、システム開発やプロダクト開発に関するご要望がございましたら、お気軽にお問い合わせください。

・サービス概要資料のURLはこちら >>>
・お問合せページのURLはこちら >>>
・お役立ち資料のURLはこちら >>>

執筆者プロフィール
張田谷凌央
張田谷凌央

株式会社ripla 代表取締役CEOとして、システムパッケージ活用、システム開発、データ分析、生成AI活用、SaaS開発、アプリ開発、EC構築など、幅広い領域で企業のDX推進と事業成長を支援している。事業会社でIT・DXを経験したプロフェッショナルが集う株式会社riplaにおいて、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを構想策定・要件定義から開発・改善まで一気通貫で支援し、単なるシステム納品にとどまらず、クライアントと同じ目線で事業成果の最大化に向けた伴走支援を行う。早稲田大学卒業後、ラクスル株式会社、LINEヤフー株式会社にて事業開発やDX推進などに従事した後、株式会社riplaを創業。