この用語の意味
Computer Useは、AIが画面やアプリの状態を読み取り、クリック、文字入力、キー操作、スクロールなどを組み合わせて作業を進める方式です。特徴は「人向けの画面をAIが操作して、仕事を進めること」です。AIモデルが操作を判断し、接続したツールが実行し、その結果をAIへ返す流れを繰り返します。単に画面画像を分析する機能とは異なり、実際の入力や変更を伴います。
何ができるか
APIやコマンドラインのないソフトでも、情報検索、入力補助、テスト用データの転記、資料更新などを支援できます。例えば、架空の注文一覧からテスト用の受注画面へ入力し、保存結果を確認する作業です。API連携がデータや機能の窓口を直接利用するのに対し、Computer Useは画面の状態に沿って操作します。画面変更、読み違い、待機不足などで失敗することがあり、すべてのアプリで正確・高速に動くとは限りません。
実際に使うために必要なもの
対応するAIサービスまたはモデル、操作ツール、対象アプリを動かす端末・試験環境、必要最小限のアクセス権限を用意します。依頼する仕事、操作してよいアプリ、入力してよいデータ、保存先、停止条件、確認担当者を決めます。画面画像やアプリの内容がクラウドAIへ送られる場合があるため、個人情報や顧客の機密情報を含まない架空データで試します。
費用はAIサービスの月額料金、APIの入力・出力や画像処理の従量料金、試験環境、操作ツールの構築・保守、結果確認にかかる時間です。操作を何度もやり直すと時間とAPI利用量が増えるため、手順数・時間・費用の上限を設定します。導入前に、手作業や既存のAPI連携と、成功率・確認時間を含めて比較します。
Computer Useは単一企業の製品名や一つの共通規格ではありません。OpenAI、AnthropicなどがそれぞれのAPIや操作ツールを提供しています。GitHubは2026年10月1日、Copilot CLIとCopilotアプリでWindows・macOS向け公開プレビューを発表しました。対応モデル、OS、操作対象、許可方法、データ保持、料金はサービスごとに異なります。OSの画面収録・操作権限や組織の管理設定も導入時点の公式情報で確認します。
小さく試す運用例
架空の注文5件と、社外送信を行わないテスト用受注画面を用意します。AIには1件ずつ入力し、保存前に担当者へ確認を求めるよう依頼します。担当者は商品、数量、保存先と実際の保存結果を照合します。成功件数、誤入力、所要時間、確認時間を記録し、入力漏れや予期しない画面が出たら停止します。試行の段階で本番注文や実在する顧客情報は使いません。
人が確認すること・注意点
操作できることと、その操作を許可したことは別です。購入、送金、外部送信、削除、上書きなどは実行直前に人が対象と内容を確認します。画面や文書に埋め込まれた指示を利用者の指示として扱わず、プロンプトインジェクションに備えます。対象アプリ・サイトと操作を限定し、停止方法、操作ログ、復元方法を用意します。AIの完了報告だけで判断せず、保存された内容と外部送信の有無を確認してください。
関連する事例・テンプレート
現在、直接関連する公開済みの事例・テンプレートはありません。
参考情報
- GitHub：Computer Useの公開プレビュー発表（2026年10月1日）（確認日：2026-10-02）
- OpenAI：Computer use（確認日：2026-10-02）
- Anthropic：Computer use tool（確認日：2026-10-02）
関連リンク
- 比較：API・API連携
関連する記事：AIが止まっても、仕事を止めないために