GitHub Copilot、「computer use」でデスクトップアプリを操作可能にGitHub Copilot can now interact with desktop apps with computer use
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- GitHub Copilotのcomputer useが、CLIとmacOS・Windows向けアプリでパブリックプレビューになりました。
- 承認後に画面の把握やクリック、文字入力、アプリ間の操作を代行し、APIのない旧式・GUI専用ソフトの自動化にも役立ちます。
- GitHub Copilot brings computer use in public preview to CLI and apps for macOS and Windows.
- After approval, it can operate GUIs and automate legacy or cross-app workflows without APIs.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (github.blog) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (github.blog).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
GitHub Copilotの「computer use」が、GitHub Copilot CLIとmacOS・Windows向けGitHub Copilotアプリでパブリックプレビューになった。デスクトップアプリを利用者に代わって操作し、自動化できる作業の範囲を広げる機能だ。
パブリックプレビュー
computer useでは、アクセス可能なアプリの内容と画面上の視覚的な文脈を読み取り、コントロールのクリック、文字の入力・編集、キー操作、スクロール、ドラッグを実行できる。単一アプリ内の操作だけでなく、複数のアプリをまたぐワークフローの移動にも対応する。利用例として、Safari上の経費報告ワークフローをcomputer-useツールで進める操作が示されている。
GUI専用ソフト
対象には、API、コマンドラインインターフェース、MCP統合を提供しない旧式ソフトウェアやGUI専用ソフトウェアのワークフローも含まれる。こうした接続手段が用意されていない場合でも、画面の把握とGUI操作を組み合わせることで、Copilotが自動化を支援できるタスクを拡張すると説明されている。
承認と権限
Copilotがアプリを制御する前には、利用者の承認を求める。利用者が常に許可するよう選んだアプリについても、後から確認したり設定をリセットしたりできるため、どのアプリの操作を認めるかは利用者側で管理できる。macOSでは、computer useが必要となるアクセシビリティ権限と画面収録権限の設定も案内する。
Computer use
Computer use is now available in public preview in GitHub Copilot CLI and the GitHub Copilot app on macOS and Windows. It matters because Copilot can operate desktop applications on a user’s behalf, expanding the kinds of tasks and workflows it can help automate.
The capability can read accessible application content and visual context. It can also click controls, enter and edit text, press keys, scroll, drag items, and navigate workflows that span multiple applications.
Desktop applications
These interactions allow Copilot to work with legacy and GUI-only software that does not provide an API, command-line interface, or MCP integration. Rather than depending on one of those integration methods, computer use can navigate the application’s graphical interface directly.
The announcement demonstrates Copilot using computer-use tools to navigate an expense-report workflow in Safari. This example combines visual and application interaction with workflow navigation, showing how the feature can carry out steps through a desktop interface.
Computer use also supports cross-application workflows. Copilot can move through the relevant applications and perform interface actions such as clicking, typing, scrolling, dragging, and pressing keys as the workflow requires.
You remain in control
Copilot asks for approval before it controls an application. Users can therefore decide whether to permit access before Copilot begins interacting with that app.
Applications that a user has chosen to always allow can be reviewed or reset. This provides a way to revisit previously granted access rather than leaving those choices fixed.
On macOS, computer use also guides users through the required Accessibility and Screen Recording permissions. These permissions support the feature’s ability to understand what is displayed and interact with desktop applications after approval.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoCopilotが画面の様子を見て、クリックや文字入力まで代わってくれるの？Can Copilot understand what’s on screen and handle clicks and typing for me?
- TECHガイドTECH Guideうん。承認後、アプリの内容や画面を把握し、クリック、入力、スクロールなどを代行できるよ。Yes. Once approved, it can interpret app content and visual context, then click, type, scroll, and more on your behalf.
- ポコPokoじゃあ、APIがない古いソフトやGUIだけの作業を自動化したい人に役立つのかな？So could this help people automate older software or GUI-only tasks that don’t have an API?
- TECHガイドTECH Guideそうだね。APIやCLI、MCP連携がないソフトや、複数アプリをまたぐ作業も自動化の対象になるよ。That’s the idea. It extends automation to software without APIs, CLIs, or MCP integrations, including workflows that cross between apps.
- ポコPoko承認してから動き出して、デスクトップの面倒な操作を任せられる範囲が広がったんだね。Got it—it starts after approval and broadens the range of repetitive desktop actions Copilot can handle.
- TECHガイドTECH Guideただし今はパブリックプレビューだよ。常時許可したアプリは見直しやリセットができ、macOSでは権限設定も必要なんだ。Just note that it’s in public preview. Always-allowed apps can be reviewed or reset, and macOS also requires Accessibility and Screen Recording permissions.
