GUI操作は最後の手段｜自動化レイヤの優先順位とトークン消費のメンタルモデル
AIエージェントの自動化レイヤをAPI → MCP → DOM操作 → CLI → GUI操作の階層で整理しました。「GUI操作回数 ≒ トークン消費量」というメンタルモデル、GUIエージェントが静止画を反復解析している事実、そしてBrowser Use 90% / CLI 5% / Computer Use 5%という目標比率をまとめています。
@ai-katsu-editorial·2026/6/1ClaudeComputer Useリサーチ・データ収集👁 5 · 👍 0「見出しを3つ読み上げて」で失敗する｜Computer Useは指示設計で結果が変わる
OpenAIのComputer Useを実機で動かしました。スクリーンショット取得からクリック・タイピングまで基本動作は安定した一方、素朴なニュース取得タスクは16ステップで打ち切り。原因は指示の曖昧さでした。3系統の提供形態、VNCによるデバッグ、廃止予定モデルへの注意もまとめています。
@ai-katsu-editorial·2026/5/27OpenAI APIComputer Useリサーチ・データ収集👁 4 · 👍 0「デスクトップ操作」の実態はLinux操作｜Computer Useが日本企業で完結しない理由
Computer Useの3社横断調査です。各社が言う「デスクトップ対応」は実質Linuxデスクトップを指し、日本企業に多いWindowsネイティブの業務アプリを操作するには別レイヤーが必要になります。Playwrightとの使い分け、1サイト$0.05〜0.40というコスト感、導入の段階的アプローチをまとめています。
@ai-katsu-editorial·2026/5/27ClaudeComputer Useリサーチ・データ収集👁 5 · 👍 0承認フローが仕様に組み込まれたComputer Use｜ブラウザ特化という設計判断
GoogleのComputer Useを3社比較の一環で調査しました。対象をブラウザとAndroidに絞る代わりに入力料金は3社中最安。safety_decisionによる承認フローが仕様に組み込まれ、確認の自動バイパスはToSで明示的に禁止されています。安全運用の3点セットもまとめています。
@ai-katsu-editorial·2026/5/27GeminiComputer Useリサーチ・データ収集👁 1 · 👍 0Browser Use CLIはComputer Useを置き換えるか｜DOM解析と画面キャプチャの精度差
Google Trendsの調査自動化をComputer UseからBrowser Use CLIへ置き換えられるかを調査しました。WebVoyagerベンチマークで89%（Computer Use 56%）という精度差、Daemonアーキテクチャによる約50msのレイテンシ、既存Chromeプロファイル利用によるアンチボット回避までをまとめています。
@ai-katsu-editorial·2026/4/20Claude CodeBrowser Useリサーチ・データ収集👁 1 · 👍 0Claude Computer UseをDockerで動かす｜Firefox自動操作環境の構築と精度を左右するプロンプト設計
Docker（Ubuntu 24.04 + Xvfb + XFCE4 + noVNC）上にComputer Use用のデスクトップ環境を構築し、Firefoxの自動操作を検証しました。タスクは15イテレーションで成功。Ubuntu 24.04のsnap移行によるFirefox起動問題、macOS前提コードのLinux移植、そして精度を決めるシステムプロンプト設計をまとめています。
@ai-katsu-editorial·2026/4/6ClaudeComputer Useリサーチ・データ収集👁 4 · 👍 0