Macを使っている皆さん、今回は、私たちのMacでの作業方法を根本から変える可能性を秘めた、全く新しいAIアシスタントアプリ「Sky」についてご紹介します。

なぜそんなに期待できるのか？それは、このアプリを手がけているのが、かつてiOSやiPadOSで自動化の概念を変えたあの「Workflow」、そしてAppleに買収されシステム全体に統合された「ショートカット（Shortcuts）」 を生み出した、Ari Weinstein氏とConrad Kramer氏だからです。

彼らがAppleを離れて2年間、秘密裏に開発を進めてきたのが、このSkyなのです。

開発者の一人であるAri Weinstein氏が言うには、これまでの自動化ツールは強力ですが、どう機能するかを理解し、抽象的な思考でプロセスを構築する必要がありました。一方、AIチャットインターフェースは自然言語で即座に対話でき、驚くべきこともできますが、データやアプリケーションと連携していません。

Skyの非常にエキサイティングな点は、その両方の良いところを併せ持っていることです。簡単に使い始められ、アプリを利用でき、さらにニーズに合わせてプログラミングも可能なのです。

Skyとは何か？何が他のAIツールと違うのか？

SkyはmacOS向けのAIパワードアシスタントです。ホットキーを押すと小さなフローティングUIが表示され、そこで質問したり、Mac上で開いている任意のウィンドウやアプリに対してアクションを実行させたりできます。

これは、従来のAIツールのように単純にウィンドウをスクリーンショットしてOCRで読み取るのではなく、macOSのウィンドウシステムに対する clever なエンジニアリング努力により、ウィンドウの内容を実際に読み取ることで実現されています。

これにより、AppKit、SwiftUI、Electronなど、どのようなフレームワークで作成されたアプリでも、文字通り任意のアプリと連携できます。

Skyには、Calendar、Messages、Notes、Webブラウジング、Finder、メール、スクリーンショットなどの組み込みの「ツール」が付属しており、これによりユーザーはすぐにこれらのアプリを使ったアクションを自然言語で実行できます。

例えば、「Safariで表示しているウェブページをカレンダーのイベントにして」「Notesに保存して」といったことが可能です。

Skyでできること：具体的な例

Skyを使うのに学習曲線はほとんどありません。何かをさせるためにタイプするだけで始められます。Skyはあなたのコマンドを理解し、複数のステップを自動的に実行できます。

• Webページの要約と共有: ブラウザで記事を読んでいるときにSkyを起動し、「これをJohnにリンクと要約を送って」とタイプするだけで、Skyはブラウザからリンクを取得し、LLMで内容を要約し、Messagesアプリを使って指定した連絡先に送信するメッセージを作成します。送信前には手動での確認が必要です。
• Finderでのファイル整理: Finderで開いているダウンロードフォルダを Sky に見せて、「これらのファイルを整理して」と依頼すると、Skyはフォルダ内のファイルを理解し、関連性の高いファイルをサブフォルダにまとめて整理してくれます。Skyは、ディレクトリを読み取り、ファイルを作成、移動するなど、組み込みのファイル管理ツールを使用できます。これは、John氏が何千ものアイテムがあるダウンロードフォルダで試しても問題なく機能したそうです。
• カレンダー連携: 「来週のPersonalカレンダーの全イベントを見せて」と質問すると、SkyはCalendarアプリから情報を取得し、イベントへのリンク付きでリストアップしてくれます。
• 任意のアプリとの連携: Superhuman（Electronアプリ）でフライトのリストを見ていたときに、そのテーブルを選択してSkyを起動し、「これらのフライトのカレンダーイベントを作成できる？」と質問すると、SkyはSuperhumanウィンドウの内容を抽出・解析し、自動的にカレンダーイベント作成のタブを3つ表示してくれました。特別な構文やショートカットは不要で、ただ「画面を見て何かして」と頼むだけで機能したのです。

Skyshotとは？

Skyのもう一つの重要な操作方法は「Skyshot」です。これは単なるスクリーンショットではなく、前面のウィンドウの実際のスクリーンショットとテキスト表現の両方を含む特殊なスクリーンショットです。

キーボードの左右のCommandキーを同時に押すだけでキャプチャできます。Skyshotを撮ってSkyに「これで何かして」「ここに表示されているもの」と指示することが、すぐに自然になります。

例えば、Spotifyの情報を抽出したり、Superhumanのメール内容を処理したり、Obsidianで文章の校正に使ったりすることができます。Skyshotは、Skyがウィンドウやデータを理解するための基盤となっています。

ハイブリッドオートメーション：LLMとスクリプトの融合

Skyの自動化は、LLMとスクリプト（ショートカット、シェルスクリプト、AppleScriptなど）を組み合わせた「ハイブリッドオートメーション」という新しい概念に基づいています。

従来の自動化ツールは特定のコマンドやスクリプトを実行することに長けていますが（例えばRaycastなど）、Skyの強みは、LLMの非決定的な性質（理解、解釈、判断）と、スクリプトの決定的なアプローチ（正確なアクション実行）を組み合わせて、よりスマートで柔軟、そしてアクセスしやすい自動化を実現することです。

例えば、「read later」コマンドを例にとると、従来のショートカットでは手動でタグを選択する必要がありました。しかし、SkyのカスタムツールとしてLLMプロンプトとショートカットを組み合わせることで、Skyはブラウザの記事の内容を分析し、最も関連性の高いタグをLLMが自動的に選択し、それをショートカットに渡して保存するといった高度な処理が可能になります。こ

れは、RegExなどの従来の手段では簡単にコード化できない、LLMの理解力が必要な非決定的な出力を利用しています。

さらに驚くべきことに、SkyはLLM（Claudeなど）にシェルスクリプトやAppleScriptを書いてもらうことで、独自の新しいツールを作成することもできます。これにより、必要な機能がSkyに組み込まれていなくても、LLMの助けを借りてツールを生成し、それをすぐに使用できるのです。

デザインと現状

Skyはまだ開発の初期段階ですが、そのデザインは非常に洗練されています。デフォルトでは、デスクトップの壁紙の色合いに合わせた小さなフローティング入力フィールドとして表示され、まるでmacOSのネイティブ機能のように感じられます。

会話が進むにつれて、返信がウィンドウに積み重ねられていきます。クリック一つで通常のMacウィンドウに拡張することもでき、過去のチャット検索や管理が可能です。

現在、Skyはクローズドアルファ段階であり、待機リストに登録することができます。今年の後半にローンチ予定です。早期ビルドにはいくつかのバグがあったものの、開発チームは迅速に修正したとのことです。

今後の課題と展望

Skyには大きな可能性を秘めていますが、課題もあります。

• バランス: 初心者にとって使いやすく、同時にパワーユーザーにとっても非常に柔軟であることのバランスをとる必要があります。WorkflowやShortcutsはパワーユーザー向けに最適化される傾向がありましたが、Skyがより広いユーザー層に受け入れられるかどうかが鍵です。
• 安定性: LLM、カスタムプロンプト、スクリプトなど、様々なテクノロジーを同時に扱っており、全てのアプリ、ユーザー、環境で安定して動作させることは大きな挑戦です。LLMが時折見せるハルシネーション（誤った情報を生成すること）にも対応していく必要があります。
• ビジネスと競争: Skyはフリーミアムモデルを計画していますが、OpenAI、Anthropic、Googleといった巨大テック企業も独自のアプリ連携やツール開発を進めており、AppleもApple Intelligenceで同様の機能を目指しています。このような競争の激しい市場で、スタートアップとしてどう差別化し、成功していくのかが注目されます。ソフトウェアApplications Incorporatedの共同創業者にはSam Altman氏（OpenAI CEO）も投資家として関わっているとのことです。

(Via Macstories.)