GitHub Copilot、デスクトップアプリを代わりに操作する「computer use」をパブリックプレビューで公開

GitHubは2026年10月1日（米国時間）、デスクトップアプリの操作をGitHub Copilotがユーザーの代わりに担う機能「computer use」を、パブリックプレビューとして公開した。使えるのはGitHub Copilot CLIとGitHub Copilot appで、macOSとWindowsに対応する。GitHubのドキュメントによると、プレビュー中は機能が変わる可能性がある。

Copilotは、アプリのうちアクセスできる内容や画面上の視覚的な情報を読み取るほか、コントロールをクリックしたり、文字を入力・編集したり、キーを押したり、スクロールやドラッグをしたりする。複数のアプリをまたいで作業の手順を進めることもできる。発表では、CopilotがSafariで経費精算の作業手順を進める様子を例に示した。

Copilot CLIでは /computer on で機能が有効になり、/computer show で状態を確かめ、/computer off で無効にする。GitHub Copilot appでは、設定（Settings）のComputer Useを開いてEnable Computer Useをオンにする。/computer on も使える。

アプリの操作を始める前には、Copilotがユーザーに承認を求める。常に許可すると選んだアプリは、あとから確かめたり、許可をリセットしたりできる。macOSでは、必要なアクセシビリティと画面収録の許可を設定する手順も案内する。組織で管理する設定を使えば、この機能を無効にできる。

GitHubによると、この機能でCopilotが自動化を助けられる作業が広がり、レガシーなソフトやGUIだけのソフトのうち、API、コマンドラインインターフェース、MCPとの連携を備えないものでの作業もその対象に含まれる。同社は、求める結果に加えて、対象のアプリと重要な制約を伝えたときに最もよく機能すると説明する。依頼の例には、ブラウザの通知の要約、プレゼンテーションの内容の更新、デスクトップアプリの作業手順に沿った情報の受け渡しを挙げた。

【関連サイト】GitHub「GitHub Copilot can now interact with desktop apps with computer use」