何が変わった？「Windows Copilot」から「Copilot in Windows」へ

先日Windows 11 Insider Programで試用した「Windows Copilot」のレビューをしました。
（Windows PCの優秀な副操縦士「Windows Copilot」とは）

今回は続編として、9月26日に提供開始されたWindows 11 22H2にて、”Copilot in Windows”（プレビュー版）を早速使ってみました。

(前の記事：PoCの目的と進め方のポイント(サマリ版))

Copilot in Windowsとは

OpenAIのChatGPTをベースにした対話型のAIアシスタント機能です。

ベータ版では「Windows Copilot」という名称でしたが2023年9月26日のアップデートで「Copilot in Windows」に変わりました。

Copilot in Windowsの使い方

検証環境について

Windows 11 Pro 22H2にて検証しており、2023年10月時点ではプレビュー版のため正式リリース時に機能が異なる場合があります。

Copilot in Windowsを起動方法

起動するにはキーボードの「Win＋C」を押すか、スタートボタンの隣に追加されるボタンをクリックします。
起動すると、Copilot with Bing Chat というタイトルのウィンドウが起動します。

Copilot in Windowsでできること

①Windowsの設定変更

・ダークモード、ライトモードの切り替え
前回のレビュー時点で対応できたダークモードとライトモードの切り替えはもちろんできました。

・BluetoothのOn/Off
新たに出来るようになったWindowsの設定変更として、BluetoothのOn/Offがあります。

画像はBluetoothをオフにした状態です。
初期状態はオフ→Copilotでオン→再度オフにしています。

・壁紙の変更
壁紙を変更したい旨を伝えると壁紙を設定する画面を表示してくれました。
しかし好みを伝えて壁紙を変更してもらう…というところまではできませんでした。

・音量の設定、ミュート
PCの音量調整やミュートもできました。

・インストールされているアプリのリストアップ
Windowsにインストールされているアプリも主要なものをリストアップしてくれます。
その際Webブラウザ、チャットツールなどアプリの用途別に分類してくれるのが親切です。

②アプリケーションの起動

様々な方法でアプリケーションを起動させてみました。

・実行ファイル名を指定して起動
「notepad.exe を起動して」「calc.exe を起動して」と実行ファイル名でCopilotに指示したところ、それぞれ「承知しました。メモ帳アプリを開きますか？」「承知しました。電卓アプリを開きますか？」と、アプリ名で起動するかどうかを確認されて、「はい」をクリックすると実際にそのアプリが起動しました。

・アプリ名を指定して起動
メモ帳、電卓、ペイント等アプリ名を指定して起動させることもできます。

・抽象的なアプリ名を指定して起動
ブラウザとアプリのカテゴリ名を指示しても対応してくれます。

・やりたいことを伝えて適切なアプリを起動
「プレゼン資料を作るためのアプリ」を指示すると、PowerPointとWordのどちらかを起動するか返答してくれました。
他にもGoogleスライドなどプレゼン資料作成に使えるアプリも併せて紹介してくれました。

さらに「売上データをまとめてグラフにする」と伝えて適切なアプリを起動するように指示すると、Excelを提案してくれました。

③マルチモーダル対応

リリースの案内ブログでは触れられていないようですが、Copilot in Windowsは現時点で画像の入力にも対応しています。いわゆるマルチモーダル対応です。
いくつかの画像を入力して解説してもらいました。

・ロゴの解説
船井総研デジタルのロゴを解説してもらいました。
ロゴ画像中の文字はローマ字と英単語の組み合わせですが、ローマ字部分の「Funai Soken」は正しく「船井総研」と漢字に直し、英単語の「Digital」は「デジタル」としてそれぞれ正しく認識してくれました。

・日本語の文字認識
次は日本語の文字が含まれた画像ファイルを渡して正しく認識できるかどうか試しました。

上記の通り日本語の精度はイマイチです。今後のアップデートに期待です。

・英語の文字認識
続いて英語が書かれた画像ファイルを渡して認識できるか試したところ、下記のようにバッチリ認識してくれました。

・日本語と英語混在の文字認識
日本語とアルファベットが混在した画像も認識してくれました。

先のように日本語の認識精度はイマイチですが、アルファベット部分は正しく認識してくれます。
得手不得手がハッキリとわかる機能でした。

その他

・応答速度

チャットの場合、Webで提供されているBing AI チャットとほぼ同等の応答速度です。
画像ファイルを渡したときは、最初の１ワードが出力されるまでは時間がかかります。
その後は、チャットと同等のスピードで応答が生成されました。

・音声は非対応

画像ファイルが解釈できるなら音声ファイルはどうだろう…と音声ファイルをいくつか形式を変えてドラッグアンドドロップしましたが、いずれも反応しませんでした。
現時点では未対応だと思われます。

まとめ

今回は「Copilot in Windows」のプレビュー版を検証してみました。

前回ではダークモードの切り替えとBing AI(chat)が使えるくらいの機能でしたが、できる範囲が比較にならないほど広がりました。

特にやりたいことを伝えるだけでアプリケーションを立ち上げてくれる機能と、探しているファイルを即座に提示してくれる機能の実用性が高そうです。

正式版のリリースはもう少し先になりますが、標準的にPCに搭載され始めたら「チャットでAIに何かを依頼する」という行動が日常的になりそうです。今後のリリースが楽しみです。

次回はGitHub Copilotの対抗サービスである、Googleの「Duet AI」について紹介します。
(Googleの最新AI技術「Duet AI in Google Cloud」とは)