Computer Useとは何か

2024年10月、AnthropicはClaude 3.5 Sonnetに「Computer Use」という新機能を追加した。これはAIがスクリーンショットを見ながらマウスクリック・キーボード入力・スクロールなどのコンピュータ操作を行い、人間の代わりに作業をこなす機能だ。

「AIにPCの前に座らせる」とも言える概念で、従来の「テキストを生成するだけ」のAIから一歩踏み込んだ形だ。RPAツール(UiPath、Automationなど)が定型作業の自動化を得意としてきたが、Computer Useはより柔軟で「手順が決まっていない作業」にも対応できる可能性を持つ。

どんな仕組みで動くか

Computer Useは「スクリーンショット→理解→操作」のサイクルで動く。

  1. 仮想環境(コンテナ)上のデスクトップのスクリーンショットを取得
  2. Claudeが画面の状態を理解し、次に何をすべきかを判断
  3. マウス移動・クリック・キーボード入力などの操作コマンドを生成
  4. コマンドを実行して画面が変わったら、再度スクリーンショットを取得
  5. 目標を達成するまで繰り返す

この仕組みは既存のRPAと根本的に異なる点がある。RPAは「この座標をクリック」「このテキストフィールドに入力」という固定した手順を実行するが、Computer UseはAIが画面を読み取って「今何が表示されているか」を判断しながら動く。UIが変わっても対応できる柔軟性がある。

実際にできること

ウェブリサーチと情報収集

複数のWebサイトを回って情報を収集し、スプレッドシートにまとめる作業は比較的得意だ。「競合他社の価格を10サイトから集めて整理して」といった依頼に対して、実際に各サイトを開いて情報を拾うことができる。

フォーム入力・繰り返し作業

同じ種類のフォームを複数回入力する作業、データをシステムAからシステムBに転記する作業など、繰り返しのある作業に有効だ。

ソフトウェアの操作補助

アクセシビリティAPIやSDKが提供されていない古いシステム、スクレイピングが難しいWebアプリなど、プログラムから直接操作しにくいソフトウェアの自動化に使える。

実際にできないこと・限界

速度の問題

「スクリーンショットを撮る→Claudeに送る→操作コマンドを受け取る→実行する」というサイクルを繰り返すため、1操作あたり数秒かかる。人間が慣れた手順で5分でできる作業が、Computer Useでは30分かかることもある。大量の繰り返し処理には向かない。

エラー耐性

ポップアップが出た、ローディングが長かった、UIが少し変わったといったイレギュラーな状況への対応は、まだ不安定だ。想定外の画面状態で止まる・間違った操作をするケースがある。

機密情報の扱い

Computer UseはAnthropicのAPIを経由するため、画面の内容(スクリーンショット)がAnthropicのサーバーに送られる。機密情報が画面に表示される作業への利用は、データポリシーの確認が必須だ。社内システムへの適用は慎重な判断が求められる。

信頼性の水準

現時点では「監視なしで24時間動かせる」レベルではない。作業結果の確認と修正を人間が行うセミオートメーション的な使い方が現実的だ。

業務自動化への応用のリアルな評価

Computer Useが今すぐ価値を出せる場面は限られている。

「一定の手順があるが、手順が毎回完全に固定ではない」「既存のAPIやRPAでは対応できないシステムを扱う」「頻度は高くないが、毎回人手をかけるのは無駄」——この3条件が重なる作業に絞って試すのが現実的だ。

例えば、週に一度だけ行う競合サイトの価格調査や、特定の管理画面からのデータ収集作業などがターゲットになる。

一方で「毎日大量に処理する定型作業」は従来のRPAやAPIインテグレーションの方が速く安定して動く。Computer UseをRPAの代替として考えるのは現時点では早い。

Claude Codeとの関係

Claude Codeにも「Computer Use」機能は利用可能で、開発環境での操作自動化に使える。ブラウザを開いて特定のサイトを確認する、GUIアプリを操作してスクリーンショットを取る、といった作業との組み合わせが現実的な活用だ。

まとめ

AnthropicのComputer Useは「AIがPCを操作する」という概念を現実にした興味深い機能だが、2025年末時点では「試験運用できるレベル」であり「完全に任せられるレベル」ではない。

機密情報を含まない・監視付きで動かす・複雑ではない繰り返し作業——この条件を満たすユースケースから試してみる価値はある。2026年以降の改善に期待しながら、小さく始めるのが賢明な向き合い方だ。