Computer Use(コンピューター操作)とは・意味、仕組み・主なサービス・API連携との違い

Computer Use(コンピューター操作)とは?
Computer Use(コンピューター操作)とは、AIが画面のスクリーンショットを読み取り、マウスのクリックやキーボードの入力で人と同じようにアプリやWebサイトを操作する機能のこと。
Anthropic は2024年10月に、この機能を「computer use」の名前で公開した。開発者の指示を受けた Claude は、人と同じやり方でコンピューターを使うことができる。Claude は画面を見てカーソルを動かし、ボタンを押して文字を打つ。
OpenAI は、画面を操作するモデルを「Computer-Using Agent(CUA)」と呼ぶ。Microsoft は、画面を操作するエージェントを「computer-using agents」と呼んでいる。
日本語の資料では computer use の訳が分かれ、OpenAI の日本語版は「コンピューター操作」、Anthropic の日本語の文書は「コンピューター使用」と表記する。
OpenAI の CUA は、OS やウェブに用意された専用の API を使わずに、画面のボタンやメニュー、入力欄を人と同じように操作する。API は、ほかのプログラムから機能を呼び出す窓口を指す。Microsoft と GitHub は、Computer Use を使えば API のない古い業務ソフトや、画面からしか使えないソフトも自動化の対象にできる点を挙げている。
Computer Use の仕組み
Google DeepMind「Introducing the Gemini 2.5 Computer Use model」(2025年10月7日)
OpenAI「Computer-Using Agent」(2025年1月23日)
以上をもとに編集部作成
モデルはスクリーンショットから次の操作を選ぶ
OpenAI は CUA の動き方を、知覚・推論・行動の繰り返しと説明している。CUA では、画面の今の状態がスクリーンショットでモデルに渡される。モデルは今と過去の画面や操作をもとに次の手を考え、クリックやスクロール、文字の入力を行う。
Google の Gemini 2.5 Computer Use でも、computer_use ツールに渡す入力は、利用者の依頼、画面のスクリーンショット、直近の操作の記録だ。操作のあとには、新しい画面のスクリーンショットと今の URL がモデルに返される。この繰り返しは、作業が終わるか、エラーが起きるか、安全のための応答や利用者の判断で打ち切られるまで続く。
操作の実行はAIを組み込んだアプリが担う
Anthropic の API では、Computer Use はクライアントの側で動くツールとして提供される。Claude はクリックや入力などの操作を指示として返し、アプリがそれを開発者の管理するコンテナや仮想マシンの上で実行する。仮想マシンは、ソフトウェアで作った仮想のコンピューターを指す。
Claude は短い一連の操作を1つの応答にまとめて返すこともでき、Anthropic はこれを「batch action」と呼ぶ。スクリーンショットやマウスの操作、キーボードの入力、ファイルは、Anthropic ではなく開発者の環境で記録・保存される。Anthropic は、API の呼び出しの中でスクリーンショットと操作の要求をその場で処理する。
画面の操作は API やコネクターで直接できない作業に使う
Anthropic は2026年3月に、Claude Cowork と Claude Code で Claude が利用者のコンピューターを操作する機能を公開した。
Claude Cowork と Claude Code では、Claude はまず、Slack や Google カレンダーなどのサービスにつなぐコネクターを使う。コネクターがないときに、Claude はブラウザー、マウス、キーボード、画面を直接操作でき、その前には必ず利用者の明示的な許可を求める。
GitHub も Copilot の文書で、API や MCP サーバー、ターミナルの命令などで直接実行できる作業なら、通常は computer use よりそれらの道具のほうが構造化された情報と予測しやすい結果を返すと案内している。
MCP は、AIのアプリを外部のデータや道具とつなぐための共通の規格だ。
Computer Use とAPI連携・RPAとの違い
| 方式 | 操作のしかた | 各社の説明 |
|---|---|---|
| API・MCP などの連携 | サービスが用意した機能を、プログラムから直接呼び出す | 直接実行できる作業なら、通常は Computer Use よりも構造化された情報と予測しやすい結果を得られる(GitHub)。Claude Cowork と Claude Code では、Claude はまずコネクターを使う(Anthropic) |
| Computer Use | 画面を見て、クリックや文字の入力で操作する | API やコマンドの窓口、MCP の連携がないソフトでも自動化の対象にできる(GitHub)。画面越しの操作は、直接の連携より遅い(Anthropic) |
| ブラウザー操作のツール | Webページ自体を読み取って操作する | Webページの中で完結する作業には、Computer Use よりブラウザー操作のツールが適している(Anthropic) |
| 従来の RPA | あらかじめ決めた手順で画面を操作する | 画面の部品が変わると壊れやすいといった従来の RPA の限界を、Computer Use のエージェントは乗り越えるとしている(Microsoft) |
RPA(ロボティック・プロセス・オートメーション)は、一般に、人がパソコンで行う定型の作業をソフトウェアで自動化する仕組みを指す。
Computer Use の主なサービスと提供状況
| サービス | 提供会社 | 提供の範囲 | 利用の条件 |
|---|---|---|---|
| Agents API のコンピューター操作 | OpenAI | 2026年9月29日に、開発者向けの Agents API がコンピューター操作に対応した | API で使える。500ドルの Pro プランの契約者と、対象となる Enterprise の契約では、Codex と ChatGPT Work でも使える |
| Gemini 3.5 Flash・3.8 Flash の computer use | 2026年6月24日の発表で、computer use が Gemini 3.5 Flash の組み込みのツールになった。ブラウザー、モバイル、デスクトップの環境が対象。2026年11月時点の Gemini API の文書では、Gemini 3.8 Flash も computer use に対応している | Gemini 3.5 Flash は、Gemini API と Gemini Enterprise Agent Platform で使える。Gemini 3.8 Flash は Gemini API で使える | |
| Copilot Studio の computer-using agents | Microsoft | 2026年5月26日に一般提供を始めた。Webサイトとデスクトップのアプリを画面から操作するエージェントを作れる | エージェントやワークフローを作る基盤 Copilot Studio の機能。複数の手順のワークフローに組み込む機能は、2026年5月の発表ではプレビュー |
| GitHub Copilot の computer use | GitHub | 2026年10月1日にパブリックプレビューとして公開した。macOS と Windows の Copilot CLI と Copilot app で使える | 初期の設定では無効で、利用者が有効にする必要がある。組織の管理者は無効にできる |
| Claude Cowork・Claude Code のコンピューター操作 | Anthropic | 研究プレビュー。macOS と Windows で使える | Claude の Pro・Max・Ultra の契約者が対象。デスクトップアプリの設定で有効にする |
※2026年11月時点
Computer Use が広まった経緯
Anthropic は2024年10月に、Claude の新しいモデルの発表の中で computer use をパブリックベータとして公開した。同社によると、Claude 3.5 Sonnet は、computer use をパブリックベータで提供する初めての最先端のAIモデルだ。
同社はあわせて、この機能はまだ試験的で、手間取ったり誤ったりすることがあるとも書いた。
2025年には、OpenAI・Microsoft・Google が相次いで画面を操作するエージェントやモデルを打ち出した。OpenAI は2025年7月に、ウェブサイトを操作する Operator の機能を ChatGPT のエージェントに統合した。
Google は2026年6月に、それまで専用の Gemini 2.5 のモデルでしか使えなかった computer use を、主要な Gemini Flash のモデルに組み込んだ。
Anthropic・Microsoft・OpenAI・GitHub は2026年に、デスクトップのアプリや開発の道具、エージェントを作る基盤で Computer Use を使えるようにした。
Computer Use に関する主な出来事・ニュース
- 2024年10月22日 Anthropic「Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku」を発表:Anthropic は、開発者が Claude にコンピューターを使わせる機能 computer use を、API のパブリックベータとして公開した。
- 2025年1月23日 OpenAI「Computer-Using Agent」を発表:OpenAI は、ウェブで利用者の作業を代行するエージェント Operator を、研究プレビューとして出した。Operator を動かすモデルを Computer-Using Agent(CUA)と呼んだ。
- 2025年4月15日 Microsoft、Copilot Studio の computer use を発表:Microsoft は、Copilot Studio のエージェントが Webサイトやデスクトップのアプリを操作できる computer use を、早期アクセスの研究プレビューとして提供すると発表した。
- 2025年7月17日 OpenAI「ChatGPT エージェント」を発表:OpenAI は、Operator のウェブサイトを操作する機能と deep research の情報をまとめる機能を ChatGPT に統合した。
- 2025年10月7日 Google「Gemini 2.5 Computer Use」を公開:Google は、画面の操作に特化したモデル Gemini 2.5 Computer Use を、Gemini API でパブリックプレビューとして公開した。
- 2026年3月23日 Anthropic「Put Claude to work on your computer」を公開:Anthropic は、Claude Cowork と Claude Code で Claude が利用者のコンピューターを操作する機能を、研究プレビューとして始めた。
- 2026年5月26日 Microsoft、Copilot Studio の computer-using agents を一般提供:Microsoft は、Copilot Studio で Webサイトとデスクトップのアプリを操作するエージェントの一般提供を始めた。
- 2026年6月24日 Google「Introducing computer use in Gemini 3.5 Flash」を発表:Google は、computer use を Gemini 3.5 Flash の組み込みのツールにした。
- 2026年9月29日 OpenAI「DevDay 2026 の振り返り」を公開:OpenAI は、開発者向けの Agents API がコンピューター操作に対応したと発表した。
- 2026年10月1日 GitHub、Copilot の computer use をパブリックプレビューで公開:GitHub は、Copilot がデスクトップのアプリを操作する computer use を、macOS と Windows の Copilot CLI と Copilot app で使えるようにした。
Computer Use に関する研究
OSWorld はAIに実際のOSで369の課題を解かせる
香港大学などの研究者が作った OSWorld は、Ubuntu、Windows、macOS などのOSの上で、AIのエージェントに実際のコンピューターの作業をさせて測るベンチマーク(性能を比べるための試験)だ。
OSWorld の課題は、Web やデスクトップのアプリ、ファイルの読み書き、複数のアプリにまたがる作業を含む369からなる。人間はこのうち72.36%を超える課題を達成できると、著者らは報告している。
OSWorld は2025年7月に、コミュニティーから報告された課題の不備を直すなどして、OSWorld-Verified に改められた。OpenAI は2025年1月の CUA の発表で、OSWorld での CUA の成功率を38.1%と示した。
OSWorld 2.0 の公開時は最高でも完了が約2割
OSWorld 2.0 は2026年6月に公開された。OSWorld 2.0 の課題は、日常や専門の仕事の流れを最初から最後まで行う108件で、人間の利用者が1件を終えるまでにかかる時間の中央値は約1.6時間だ。69.6%の課題は、熟練した利用者が終えるのに1時間を超える。
500回の操作までに課題を完了できたかを測る主な指標で、公開時に最も成績のよかったモデルは Claude Opus 4.8(推論を最大にし、複数の操作をまとめて呼ぶ設定)だった。それでも完了できた課題は20.6%だった。GPT-5.5 は使うトークンが大幅に少ない一方で、課題の完了の割合は14%近くで頭打ちになった。
著者らの分析では、エージェントがつまずくのは基本の画面の操作やコードの作成ではなく、条件を見失う、作業の途中で届いた情報を見落とす、利用者に尋ねずに推測する、確認を省くといった点だ。エージェントが最も苦戦するのは、作業に必要な情報が隠れていて自分で突き止める必要がある課題だという。
課題にかかる時間が長くなるほど完了の割合は大きく下がり、163分を超える課題では、図に示されたどのモデルも完了できなかった。
2026年10月15日更新の順位表では、別の版の課題(v2.1)で、推論を最大にした Claude Opus 5 が完了の割合44.33%で首位だった。
Anthropic は攻撃の成功率1%でもリスクが残るとした
Anthropic は2025年11月の研究の記事で、Web ページなどに隠した指示でエージェントを乗っ取るプロンプトインジェクションへの耐性を調べた結果を公表した。
Anthropic が社内で使う攻撃の手法は、効果があると分かっている多くの手口を試して組み合わせるもので、1つの環境につき100回の攻撃を試みる。
Anthropic は、ブラウザー操作でのプロンプトインジェクションへの耐性について、Claude Opus 4.5 が以前のモデルより強いとした。そのうえで、1%という攻撃の成功率は大きな改善だが、意味のあるリスクが残るとしている。同社は、どのブラウザーのエージェントもプロンプトインジェクションの影響を受けうると記している。
Computer Use の限界と各社が示す安全策
画面越しの操作は遅く、誤ることもある
Anthropic は文書で、利用者が自分でコンピューターを操作する場合に比べて、Computer Use の応答の遅れが大きすぎることがあるとしている。同社は、信頼できる環境で、バックグラウンドでの情報収集やソフトウェアの自動テストのように速さが重要でない用途に絞るよう求めている。
Claude が座標を誤って出力したり、ツールを選び間違えたりする可能性もある。Claude がなじみの薄いアプリや複数のアプリを同時に操作するときは、操作の信頼性が下がることがある。
GitHub も、アプリの版やOS、ウィンドウの状態で画面が変わるため、Copilot が誤ったボタンなどを選んだり、違う場所に文字を入力したりすることがあると説明している。Anthropic による Claude Cowork の発表にも、複雑な作業はやり直しが必要なことがあるとの説明がある。
画面に映った指示にAIが従うおそれ
Anthropic によると、Claude は利用者の指示と食い違う場合でも、Web ページや画像の中の指示に従うことがある。同社は、このプロンプトインジェクションのリスクを避けるため、機密のデータや機密性の高い操作から Claude を切り離すよう求めている。
Google も Gemini 2.5 Computer Use の発表で、利用者による意図的な悪用、モデルの予期しない動き、Web 上のプロンプトインジェクションや詐欺の3つを、コンピューターを操作するエージェントに特有のリスクとして挙げた。
各社は専用の環境と利用者の確認を組み合わせる
Anthropic は、Computer Use を使う開発者に次のような備えを示している。
- 権限を最小限にした専用の仮想マシンかコンテナで動かす。
- ログインの情報など、機密のデータにモデルが触れられないようにする。
- インターネットへの接続を、許可したドメインに限る。
- 現実に大きな影響を及ぼすおそれのある判断や、金融の取引、利用規約への同意など利用者の積極的な同意が必要な作業では、利用者に確認を求める。
Google は Gemini 3.5 Flash で、機密性の高い操作や取り消せない操作の前に利用者の明示の確認を求める仕組みを、企業向けに任意で用意した。間接型のプロンプトインジェクションに気づいたら作業を自動で止める仕組みも用意している。
GitHub は、機密の情報を含むアプリや影響の大きい操作ができるアプリには、「常に許可」を選ばないよう案内している。「常に許可」を選んだアプリは、その後は確認を求められずに操作できる。利用者が許可を何度も求められるうちに中身を確かめずに承認するようになることは、一般に承認疲れと呼ばれる。
Claude Cowork と Claude Code のコンピューター操作について、Anthropic は Claude が誤ることがあり、安全上の脅威も絶えず変わっていると説明した。そのうえで同社は、信頼できるアプリから使い始め、機密のデータを扱わないよう勧めている。一部のアプリは、この理由で初期の設定から操作の対象外になっている。
Computer Use の言い方
| 表記 | 意味 | 使用主体 |
|---|---|---|
| computer use | AIが画面を見て、クリックや入力でコンピューターを操作する機能 | Anthropic、Google、GitHub など |
| Computer-Using Agent(CUA) | OpenAI が、画面を操作して Operator を動かすモデルに付けた名前 | OpenAI |
| computer-using agents | 画面からWebサイトやデスクトップのアプリを操作するエージェント | Microsoft |
| computer use agents | Computer Use の機能を使うエージェント | Microsoft |
| computer-use agents | 画面を操作するエージェント。ベンチマークで測る対象 | OSWorld 2.0 の著者 |
| コンピューター操作 | computer use の日本語の表記 | OpenAI の日本語版 |
| コンピューター使用 | computer use の日本語の表記 | Anthropic の日本語の文書 |
| コンピューターの使用 | computer use の日本語の表記 | GitHub の日本語の文書 |
Computer Use に関連する用語
- エージェンティックループ:作業に必要な情報を集める・道具で行動する・結果を確かめるという流れを、AIエージェントが作業を終えるまで繰り返す仕組み。
- プロンプトインジェクション:AIへの入力に指示を紛れ込ませ、利用者や開発者の意図と違う動きをAIにさせる攻撃。
- WebMCP:ウェブサイトが自らの機能を「ツール」としてAIエージェントに示し、エージェントがその機能を直接呼び出せるようにする、提案中のウェブの標準。
- 常時稼働エージェント:利用者が話しかけていない間も、任された仕事を自分で進め続けるAIエージェント。
- 承認疲れ:AIエージェントなどから操作の許可を何度も求められるうちに、利用者が中身をよく確かめずに承認するようになること。
Computer Use に関する出典
Anthropic「Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku」(2024年10月22日)
OpenAI「Computer-Using Agent」(2025年1月23日)
Microsoft「Announcing new computer use in Microsoft Copilot Studio for UI automation」(2025年4月15日)
OpenAI「DevDay 2026 の振り返り」(2026年9月29日)
Anthropic「コンピューター使用ツール」(Claude Platform Docs)
GitHub「GitHub Copilotでのコンピューターの使用について」(GitHub ドキュメント)
Google DeepMind「Introducing the Gemini 2.5 Computer Use model」(2025年10月7日)
Anthropic「Put Claude to work on your computer」(2026年3月23日)
Microsoft「New and improved: Computer-using agents, a new workflows experience, and real-time voice experiences」(2026年5月26日)
Google「Introducing computer use in Gemini 3.5 Flash」(2026年6月24日)
GitHub「GitHub Copilot can now interact with desktop apps with computer use」(2026年10月1日)
OpenAI「ChatGPT エージェントが登場」(2025年7月17日)
Tianbao Xie ほか「OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments」(プロジェクトのページ)
Mengqi Yuan ほか「OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks」(2026年10月15日更新、プロジェクトのページ)
Anthropic「Mitigating the risk of prompt injections in browser use」(2025年11月24日)
Google「Gemini 3.8 Flash」(Gemini API の文書)




