本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

Computer Use(コンピューター操作)とは・意味、仕組み・主なサービス・API連携との違い

Computer Use(コンピューター操作)とは?

Computer Use(コンピューター操作)とは、AIが画面のスクリーンショットを読み取り、マウスのクリックやキーボードの入力で人と同じようにアプリやWebサイトを操作する機能のこと。

Anthropic は2024年10月に、この機能を「computer use」の名前で公開した。開発者の指示を受けた Claude は、人と同じやり方でコンピューターを使うことができる。Claude は画面を見てカーソルを動かし、ボタンを押して文字を打つ。

OpenAI は、画面を操作するモデルを「Computer-Using Agent(CUA)」と呼ぶ。Microsoft は、画面を操作するエージェントを「computer-using agents」と呼んでいる。

日本語の資料では computer use の訳が分かれ、OpenAI の日本語版は「コンピューター操作」、Anthropic の日本語の文書は「コンピューター使用」と表記する。

OpenAI の CUA は、OS やウェブに用意された専用の API を使わずに、画面のボタンやメニュー、入力欄を人と同じように操作する。API は、ほかのプログラムから機能を呼び出す窓口を指す。Microsoft と GitHub は、Computer Use を使えば API のない古い業務ソフトや、画面からしか使えないソフトも自動化の対象にできる点を挙げている。

Computer Use の仕組み

Computer Use の操作の流れAnthropic・Google・OpenAI の説明をもとに整理
1
受け取るモデルは、利用者の指示と画面のスクリーンショットを受け取るGoogle の Gemini 2.5 Computer Use では、直近の操作の記録も一緒に渡す
2
選ぶモデルが画面の状態を読み、クリックや文字の入力など次の操作を返すGemini 2.5 Computer Use では、購入など確認が必要な操作で、利用者の確認を求める応答を返すことがある
3
実行するAIを組み込んだアプリの側が、返された操作をコンピューターの上で行うAnthropic の文書では、操作は開発者が管理する仮想マシンやコンテナで行う
4
繰り返す操作の結果をモデルに返し、作業が終わるまで「選ぶ」と「実行する」を繰り返すAnthropic は、利用者の入力なしに続くこの繰り返しを「エージェントループ」と呼ぶ
出典:Anthropic「コンピューター使用ツール」(Claude Platform Docs)
Google DeepMind「Introducing the Gemini 2.5 Computer Use model」(2025年10月7日)
OpenAI「Computer-Using Agent」(2025年1月23日)
以上をもとに編集部作成

モデルはスクリーンショットから次の操作を選ぶ

OpenAI は CUA の動き方を、知覚・推論・行動の繰り返しと説明している。CUA では、画面の今の状態がスクリーンショットでモデルに渡される。モデルは今と過去の画面や操作をもとに次の手を考え、クリックやスクロール、文字の入力を行う。

Google の Gemini 2.5 Computer Use でも、computer_use ツールに渡す入力は、利用者の依頼、画面のスクリーンショット、直近の操作の記録だ。操作のあとには、新しい画面のスクリーンショットと今の URL がモデルに返される。この繰り返しは、作業が終わるか、エラーが起きるか、安全のための応答や利用者の判断で打ち切られるまで続く。

操作の実行はAIを組み込んだアプリが担う

Anthropic の API では、Computer Use はクライアントの側で動くツールとして提供される。Claude はクリックや入力などの操作を指示として返し、アプリがそれを開発者の管理するコンテナや仮想マシンの上で実行する。仮想マシンは、ソフトウェアで作った仮想のコンピューターを指す。

Claude は短い一連の操作を1つの応答にまとめて返すこともでき、Anthropic はこれを「batch action」と呼ぶ。スクリーンショットやマウスの操作、キーボードの入力、ファイルは、Anthropic ではなく開発者の環境で記録・保存される。Anthropic は、API の呼び出しの中でスクリーンショットと操作の要求をその場で処理する。

画面の操作は API やコネクターで直接できない作業に使う

Anthropic は2026年3月に、Claude Cowork と Claude Code で Claude が利用者のコンピューターを操作する機能を公開した。

Claude Cowork と Claude Code では、Claude はまず、Slack や Google カレンダーなどのサービスにつなぐコネクターを使う。コネクターがないときに、Claude はブラウザー、マウス、キーボード、画面を直接操作でき、その前には必ず利用者の明示的な許可を求める。

GitHub も Copilot の文書で、API や MCP サーバー、ターミナルの命令などで直接実行できる作業なら、通常は computer use よりそれらの道具のほうが構造化された情報と予測しやすい結果を返すと案内している。

MCP は、AIのアプリを外部のデータや道具とつなぐための共通の規格だ。

Computer Use とAPI連携・RPAとの違い

方式 操作のしかた 各社の説明
API・MCP などの連携 サービスが用意した機能を、プログラムから直接呼び出す 直接実行できる作業なら、通常は Computer Use よりも構造化された情報と予測しやすい結果を得られる(GitHub)。Claude Cowork と Claude Code では、Claude はまずコネクターを使う(Anthropic)
Computer Use 画面を見て、クリックや文字の入力で操作する API やコマンドの窓口、MCP の連携がないソフトでも自動化の対象にできる(GitHub)。画面越しの操作は、直接の連携より遅い(Anthropic)
ブラウザー操作のツール Webページ自体を読み取って操作する Webページの中で完結する作業には、Computer Use よりブラウザー操作のツールが適している(Anthropic)
従来の RPA あらかじめ決めた手順で画面を操作する 画面の部品が変わると壊れやすいといった従来の RPA の限界を、Computer Use のエージェントは乗り越えるとしている(Microsoft)

RPA(ロボティック・プロセス・オートメーション)は、一般に、人がパソコンで行う定型の作業をソフトウェアで自動化する仕組みを指す。

Computer Use の主なサービスと提供状況

サービス 提供会社 提供の範囲 利用の条件
Agents API のコンピューター操作 OpenAI 2026年9月29日に、開発者向けの Agents API がコンピューター操作に対応した API で使える。500ドルの Pro プランの契約者と、対象となる Enterprise の契約では、Codex と ChatGPT Work でも使える
Gemini 3.5 Flash・3.8 Flash の computer use Google 2026年6月24日の発表で、computer use が Gemini 3.5 Flash の組み込みのツールになった。ブラウザー、モバイル、デスクトップの環境が対象。2026年11月時点の Gemini API の文書では、Gemini 3.8 Flash も computer use に対応している Gemini 3.5 Flash は、Gemini API と Gemini Enterprise Agent Platform で使える。Gemini 3.8 Flash は Gemini API で使える
Copilot Studio の computer-using agents Microsoft 2026年5月26日に一般提供を始めた。Webサイトとデスクトップのアプリを画面から操作するエージェントを作れる エージェントやワークフローを作る基盤 Copilot Studio の機能。複数の手順のワークフローに組み込む機能は、2026年5月の発表ではプレビュー
GitHub Copilot の computer use GitHub 2026年10月1日にパブリックプレビューとして公開した。macOS と Windows の Copilot CLI と Copilot app で使える 初期の設定では無効で、利用者が有効にする必要がある。組織の管理者は無効にできる
Claude Cowork・Claude Code のコンピューター操作 Anthropic 研究プレビュー。macOS と Windows で使える Claude の Pro・Max・Ultra の契約者が対象。デスクトップアプリの設定で有効にする

※2026年11月時点

Computer Use が広まった経緯

Anthropic は2024年10月に、Claude の新しいモデルの発表の中で computer use をパブリックベータとして公開した。同社によると、Claude 3.5 Sonnet は、computer use をパブリックベータで提供する初めての最先端のAIモデルだ。

同社はあわせて、この機能はまだ試験的で、手間取ったり誤ったりすることがあるとも書いた。

2025年には、OpenAI・Microsoft・Google が相次いで画面を操作するエージェントやモデルを打ち出した。OpenAI は2025年7月に、ウェブサイトを操作する Operator の機能を ChatGPT のエージェントに統合した。

Google は2026年6月に、それまで専用の Gemini 2.5 のモデルでしか使えなかった computer use を、主要な Gemini Flash のモデルに組み込んだ。

Anthropic・Microsoft・OpenAI・GitHub は2026年に、デスクトップのアプリや開発の道具、エージェントを作る基盤で Computer Use を使えるようにした。

Computer Use に関する主な出来事・ニュース

Computer Use に関する研究

OSWorld はAIに実際のOSで369の課題を解かせる

香港大学などの研究者が作った OSWorld は、Ubuntu、Windows、macOS などのOSの上で、AIのエージェントに実際のコンピューターの作業をさせて測るベンチマーク(性能を比べるための試験)だ。

OSWorld の課題は、Web やデスクトップのアプリ、ファイルの読み書き、複数のアプリにまたがる作業を含む369からなる。人間はこのうち72.36%を超える課題を達成できると、著者らは報告している。

OSWorld は2025年7月に、コミュニティーから報告された課題の不備を直すなどして、OSWorld-Verified に改められた。OpenAI は2025年1月の CUA の発表で、OSWorld での CUA の成功率を38.1%と示した。

OSWorld 2.0 の公開時は最高でも完了が約2割

OSWorld 2.0 は2026年6月に公開された。OSWorld 2.0 の課題は、日常や専門の仕事の流れを最初から最後まで行う108件で、人間の利用者が1件を終えるまでにかかる時間の中央値は約1.6時間だ。69.6%の課題は、熟練した利用者が終えるのに1時間を超える。

500回の操作までに課題を完了できたかを測る主な指標で、公開時に最も成績のよかったモデルは Claude Opus 4.8(推論を最大にし、複数の操作をまとめて呼ぶ設定)だった。それでも完了できた課題は20.6%だった。GPT-5.5 は使うトークンが大幅に少ない一方で、課題の完了の割合は14%近くで頭打ちになった。

著者らの分析では、エージェントがつまずくのは基本の画面の操作やコードの作成ではなく、条件を見失う、作業の途中で届いた情報を見落とす、利用者に尋ねずに推測する、確認を省くといった点だ。エージェントが最も苦戦するのは、作業に必要な情報が隠れていて自分で突き止める必要がある課題だという。

課題にかかる時間が長くなるほど完了の割合は大きく下がり、163分を超える課題では、図に示されたどのモデルも完了できなかった。

2026年10月15日更新の順位表では、別の版の課題(v2.1)で、推論を最大にした Claude Opus 5 が完了の割合44.33%で首位だった。

Anthropic は攻撃の成功率1%でもリスクが残るとした

Anthropic は2025年11月の研究の記事で、Web ページなどに隠した指示でエージェントを乗っ取るプロンプトインジェクションへの耐性を調べた結果を公表した。

Anthropic が社内で使う攻撃の手法は、効果があると分かっている多くの手口を試して組み合わせるもので、1つの環境につき100回の攻撃を試みる。

Anthropic は、ブラウザー操作でのプロンプトインジェクションへの耐性について、Claude Opus 4.5 が以前のモデルより強いとした。そのうえで、1%という攻撃の成功率は大きな改善だが、意味のあるリスクが残るとしている。同社は、どのブラウザーのエージェントもプロンプトインジェクションの影響を受けうると記している。

Computer Use の限界と各社が示す安全策

画面越しの操作は遅く、誤ることもある

Anthropic は文書で、利用者が自分でコンピューターを操作する場合に比べて、Computer Use の応答の遅れが大きすぎることがあるとしている。同社は、信頼できる環境で、バックグラウンドでの情報収集やソフトウェアの自動テストのように速さが重要でない用途に絞るよう求めている。

Claude が座標を誤って出力したり、ツールを選び間違えたりする可能性もある。Claude がなじみの薄いアプリや複数のアプリを同時に操作するときは、操作の信頼性が下がることがある。

GitHub も、アプリの版やOS、ウィンドウの状態で画面が変わるため、Copilot が誤ったボタンなどを選んだり、違う場所に文字を入力したりすることがあると説明している。Anthropic による Claude Cowork の発表にも、複雑な作業はやり直しが必要なことがあるとの説明がある。

画面に映った指示にAIが従うおそれ

Anthropic によると、Claude は利用者の指示と食い違う場合でも、Web ページや画像の中の指示に従うことがある。同社は、このプロンプトインジェクションのリスクを避けるため、機密のデータや機密性の高い操作から Claude を切り離すよう求めている。

Google も Gemini 2.5 Computer Use の発表で、利用者による意図的な悪用、モデルの予期しない動き、Web 上のプロンプトインジェクションや詐欺の3つを、コンピューターを操作するエージェントに特有のリスクとして挙げた。

各社は専用の環境と利用者の確認を組み合わせる

Anthropic は、Computer Use を使う開発者に次のような備えを示している。

  • 権限を最小限にした専用の仮想マシンかコンテナで動かす。
  • ログインの情報など、機密のデータにモデルが触れられないようにする。
  • インターネットへの接続を、許可したドメインに限る。
  • 現実に大きな影響を及ぼすおそれのある判断や、金融の取引、利用規約への同意など利用者の積極的な同意が必要な作業では、利用者に確認を求める。

Google は Gemini 3.5 Flash で、機密性の高い操作や取り消せない操作の前に利用者の明示の確認を求める仕組みを、企業向けに任意で用意した。間接型のプロンプトインジェクションに気づいたら作業を自動で止める仕組みも用意している。

GitHub は、機密の情報を含むアプリや影響の大きい操作ができるアプリには、「常に許可」を選ばないよう案内している。「常に許可」を選んだアプリは、その後は確認を求められずに操作できる。利用者が許可を何度も求められるうちに中身を確かめずに承認するようになることは、一般に承認疲れと呼ばれる。

Claude Cowork と Claude Code のコンピューター操作について、Anthropic は Claude が誤ることがあり、安全上の脅威も絶えず変わっていると説明した。そのうえで同社は、信頼できるアプリから使い始め、機密のデータを扱わないよう勧めている。一部のアプリは、この理由で初期の設定から操作の対象外になっている。

Computer Use の言い方

表記 意味 使用主体
computer use AIが画面を見て、クリックや入力でコンピューターを操作する機能 Anthropic、Google、GitHub など
Computer-Using Agent(CUA) OpenAI が、画面を操作して Operator を動かすモデルに付けた名前 OpenAI
computer-using agents 画面からWebサイトやデスクトップのアプリを操作するエージェント Microsoft
computer use agents Computer Use の機能を使うエージェント Microsoft
computer-use agents 画面を操作するエージェント。ベンチマークで測る対象 OSWorld 2.0 の著者
コンピューター操作 computer use の日本語の表記 OpenAI の日本語版
コンピューター使用 computer use の日本語の表記 Anthropic の日本語の文書
コンピューターの使用 computer use の日本語の表記 GitHub の日本語の文書

Computer Use に関連する用語

  • エージェンティックループ:作業に必要な情報を集める・道具で行動する・結果を確かめるという流れを、AIエージェントが作業を終えるまで繰り返す仕組み。
  • プロンプトインジェクション:AIへの入力に指示を紛れ込ませ、利用者や開発者の意図と違う動きをAIにさせる攻撃。
  • WebMCP:ウェブサイトが自らの機能を「ツール」としてAIエージェントに示し、エージェントがその機能を直接呼び出せるようにする、提案中のウェブの標準。
  • 常時稼働エージェント:利用者が話しかけていない間も、任された仕事を自分で進め続けるAIエージェント。
  • 承認疲れ:AIエージェントなどから操作の許可を何度も求められるうちに、利用者が中身をよく確かめずに承認するようになること。

Computer Use に関する出典

Anthropic「Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku」(2024年10月22日)
OpenAI「Computer-Using Agent」(2025年1月23日)
Microsoft「Announcing new computer use in Microsoft Copilot Studio for UI automation」(2025年4月15日)
OpenAI「DevDay 2026 の振り返り」(2026年9月29日)
Anthropic「コンピューター使用ツール」(Claude Platform Docs)
GitHub「GitHub Copilotでのコンピューターの使用について」(GitHub ドキュメント)
Google DeepMind「Introducing the Gemini 2.5 Computer Use model」(2025年10月7日)
Anthropic「Put Claude to work on your computer」(2026年3月23日)
Microsoft「New and improved: Computer-using agents, a new workflows experience, and real-time voice experiences」(2026年5月26日)
Google「Introducing computer use in Gemini 3.5 Flash」(2026年6月24日)
GitHub「GitHub Copilot can now interact with desktop apps with computer use」(2026年10月1日)
OpenAI「ChatGPT エージェントが登場」(2025年7月17日)
Tianbao Xie ほか「OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments」(プロジェクトのページ)
Mengqi Yuan ほか「OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks」(2026年10月15日更新、プロジェクトのページ)
Anthropic「Mitigating the risk of prompt injections in browser use」(2025年11月24日)
Google「Gemini 3.8 Flash」(Gemini API の文書)

Computer Use に関連する記事