本日、AppleはApple Intelligenceの大幅アップデートを発表しました。この最新の人工知能機能により、iPhone、iPad、Mac、Apple Watch、Apple Vision Proの使い勝手が格段に向上することが期待されています。

今回の発表で最も注目すべきは、開発者がApple Intelligenceの基盤モデルに直接アクセスできるようになったことです。これまではAppleが提供する機能を使うだけでしたが、今後は開発者が独自のアプリでApple Intelligenceを活用できるようになります。

しかも、このAI機能はデバイス内で動作するため、プライバシーが保護され、オフラインでも利用可能という画期的な仕組みです。

Appleのソフトウェアエンジニアリング担当上級副社長であるCraig Federighi氏は、「昨年、私たちはユーザーにとって役立ち、関連性があり、使いやすく、必要な場所で利用でき、しかもプライバシーを保護するインテリジェンスを提供する取り組みを始めました」と述べています。

ライブ翻訳でコミュニケーションの壁を取り払う

新しいライブ翻訳機能は、言語の壁を感じることなく世界中の人々とコミュニケーションを取ることを可能にします。この機能は、Messages、FaceTime、電話アプリに統合されており、Appleが独自開発したモデルによって完全にデバイス内で動作します。

海外旅行中に言葉が通じなくて困ったり、外国人の友達ともっと気軽に話したいと思ったりした経験はありませんか？そんな悩みを解決してくれるのが、新機能「ライブ翻訳」です。これは、メッセージや電話、FaceTimeでの会話をリアルタイムで翻訳してくれる、まさに未来の翻訳こんにゃくのような機能です。

例えば、あなたがメッセージアプリで外国人の友人と旅行の計画を立てているとします。あなたが日本語でメッセージを打ち込むと、それが自動的に相手の言語に翻訳されて送られます。そして、相手からの返信も瞬時に日本語に翻訳されるのです。これにより、言語の壁を意識することなく、スムーズなコミュニケーションが楽しめます。

さらにすごいのは、FaceTimeや電話でも使える点です。通話中に相手の話している内容がリアルタイムで字幕表示されたり、音声で翻訳されたりします。これまで言語が理由でためらっていた国際電話も、これからは気軽にかけられるようになるかもしれませんね。この機能もデバイス上で処理されるため、プライベートな会話の内容が外部に漏れる心配がないのは、さすがAppleというべきでしょう。

GenmojiとImage Playgroundで創造性をさらに広げる

Appleの生成AI機能であるGenmojiとImage Playgroundにも大幅な改良が加えられました。これまでGenmojiでは文字による説明から絵文字を作成できましたが、今回のアップデートでは既存の絵文字を組み合わせて全く新しいGenmojiを作ることができるようになります。

Image Playgroundでは、ChatGPTとの連携により油絵風やベクターアート風など新しいスタイルが利用可能になります。「Any Style」機能を使えば、具体的な要望を文字で伝えることで、ChatGPTがユニークな画像を生成してくれます。ただし、ChatGPTとの情報共有は常にユーザーの許可が必要で、プライバシーは厳重に保護されます。

家族や友人をモデルにした画像を作成する際には、表情を変えたり髪型を調整したりして、その人の最新の見た目に合わせることも可能です。これにより、より個性的で親しみやすいコンテンツの作成が可能になります。

画面上の情報を瞬時に理解するVisual Intelligence

Visual Intelligence機能も大幅に強化されました。これまではカメラを使って周囲の物体や場所について学習することができましたが、今回のアップデートではiPhoneの画面上に表示されている内容についても同様の機能が利用できるようになります。

スクリーンショットを撮るのと同じボタン操作で、画面上の任意の内容についてChatGPTに質問したり、GoogleやEtsyなどで類似の画像や商品を検索したりできます。例えば、ウェブサイトで見つけたおしゃれなランプに興味を持った場合、そのランプをハイライトすることで同じような商品や類似品をオンラインで簡単に見つけることができます。

さらに、画面上にイベント情報が表示されている場合、Apple Intelligenceが自動的にそれを認識し、カレンダーへの追加を提案してくれます。日時や場所などの重要な詳細情報も自動的に抽出され、イベント作成時に事前入力されるため、手間をかけずにスケジュール管理ができます。

Apple Watchでパーソナライズされたフィットネス体験

Apple WatchにもApple Intelligenceが導入され、Workout Buddyという革新的なワークアウト体験が提供されます。この機能は、ユーザーの過去のワークアウトデータやフィットネス履歴を分析し、リアルタイムでパーソナライズされた励ましの言葉を生成します。

心拍数、ペース、距離、アクティビティリング、個人的なフィットネス目標達成状況など、様々なデータを基に意味のあるインサイトを提供します。新しいテキスト読み上げモデルにより、Fitness+のトレーナーの声を基にした動的な生成音声でモチベーションを高める言葉が届けられます。

Workout Buddyは屋外・屋内ランニング、ウォーキング、サイクリング、HIIT、ファンクショナル・伝統的筋力トレーニングなど、人気の高いワークアウトタイプで利用可能です。人気の高いワークアウトの種類の一部において、まずは英語で利用できるようになります。

Bluetoothヘッドフォンとの組み合わせで使用でき、近くにApple Intelligence対応のiPhoneが必要です。

開発者向けの革新的なツール

今回の発表で最も画期的なのは、開発者がApple Intelligenceの基盤モデルに直接アクセスできるようになったことです。Foundation Modelsフレームワークを通じて、アプリ開発者は無料でAI推論機能を利用できるようになります。

教育アプリでは、ユーザーのノートから個人向けのクイズを生成したり、アウトドアアプリではオフライン環境でも動作する自然言語検索機能を追加したりできます。このフレームワークはSwiftをネイティブサポートしており、わずか3行のコードでApple Intelligenceモデルにアクセス可能です。

ガイド付き生成、ツール呼び出しなどの機能がフレームワークに組み込まれているため、既存のアプリに生成AI機能を実装することが これまで以上に簡単になります。クラウドAPIのコストを気にすることなく、強力で高速、プライバシーを保護する AI機能をアプリに組み込めることは、開発者にとって大きなメリットとなるでしょう。

ショートカットがさらにインテリジェントに進化

ショートカット機能もApple Intelligenceの恩恵を受けて大幅に強化されます。ユーザーは「インテリジェントアクション」という新しいショートカットセットを利用できるようになり、Writing Toolsでのテキスト要約やImage Playgroundでの画像作成などの専用アクションが用意されます。

学生の例を考えてみましょう。授業の音声録音から作成した文字起こしと自分が取ったノートを比較し、見落とした重要なポイントを自動的に追加するショートカットを作成できます。Apple IntelligenceモデルまたはChatGPTを活用して、ショートカット内での情報のプライバシーを維持しながら、より高度な処理が可能になります。

日常生活を便利にする追加機能

Apple Intelligenceは、日々使用するアプリや機能により深く統合されています。メール、ウェブサイト、ノートなどのコンテンツから最も関連性の高いアクションを自動的に識別し、リマインダーにカテゴリ分けして追加する機能が追加されました。

Apple Walletでは、商品の注文追跡詳細をメールから自動的に識別・要約する機能が搭載されます。すべての注文情報を一箇所で確認でき、進捗通知や詳細情報を把握することが容易になります。

Messagesアプリでは、投票機能が追加され、Apple Intelligenceが投票が有用な場面を検出して提案してくれます。また、Image Playgroundを使用して会話に合ったユニークな背景を作成し、チャットをパーソナライズすることも可能です。

プライバシーを最優先したAIの実現

Apple IntelligenceがAI分野で革新的なのは、プライバシー保護への徹底的な取り組みです。多くのモデルが完全にデバイス内で動作し、より大規模なモデルが必要な場合でも、Private Cloud Computeにより、ユーザーのデータが保存されることも Appleと共有されることもありません。

独立した専門家がAppleシリコンサーバー上で動作するコードを検査し、このプライバシー保護の約束を継続的に検証しています。これは AI分野におけるプライバシー保護の画期的な進歩と言えるでしょう。

利用可能時期とデバイス対応

これらの新機能は本日よりApple Developer Programを通じてテスト可能で、来月にはApple Beta Software Programを通じて一般向けベータ版が提供される予定です。正式版は今秋、対応デバイスでサポート言語に設定したユーザーが利用できるようになります。

対応デバイスには、すべてのiPhone 16モデル、iPhone 15 Pro、iPhone 15 Pro Max、iPad mini（A17 Pro搭載）、M1以降を搭載したiPadとMacが含まれます。利用には、Siriとデバイス言語を同じサポート言語に設定する必要があります。

現在サポートされている言語は、英語、フランス語、ドイツ語、イタリア語、ポルトガル語（ブラジル）、スペイン語、日本語、韓国語、中国語（簡体字）です。年末までにはさらに8つの言語が追加される予定で、より多くのユーザーがApple Intelligenceの恩恵を受けられるようになります。

(Via Apple.)