OpenELMモデルとは？

話の中心となっている「OpenELM」についての説明です。OpenELMは、Appleが開発したオープンソースの大規模言語モデル(LLM)です。

LLMとは、膨大な量のテキストデータを学習し、人間のような文章を生成したり理解したりできるAIモデルのことです。

Appleは2024年4月にこのOpenELMを公開しました。当初は「最先端のオープン言語モデル」と描写されていました。

YouTubeの字幕データ使用問題とは？

先日、Wired誌の調査で、AppleやAnthropicなどの企業が、YouTubeの字幕データを使ってAIモデルを訓練していたことが明らかになりました。

このデータセットには、MKBHD氏やMr. Beast氏など、人気YouTuberの動画17万本以上の字幕が含まれていたそうです。

これは、非営利団体EleutherAIが提供する「The Pile」というより大きなデータセットの一部でした。多くの企業がこのデータを使用していたようです。

Appleの公式声明：Apple Intelligenceとの関係は？

この報道を受けて、Appleが9to5Macに対して声明を出しました。その内容は以下の通りです：

1. OpenELMはApple Intelligenceを含む、AppleのAIや機械学習機能のいずれにも使用されていない。
2. OpenELMは研究目的でのみ作成された。
3. YouTubeの字幕データセットはApple Intelligenceの学習には使用されていない。
4. Apple IntelligenceのモデルはライセンスされたデータとAppleのWebクローラーが収集した公開データで訓練されている。
5. AppleはOpenELMの新バージョンを開発する予定はない。

これは非常に重要な声明です。つまり、YouTubeの字幕データを使って訓練されたOpenELMは、実際のApple製品には使われていないということになります。

なぜAppleはOpenELMを開発したのか？

では、なぜAppleはOpenELMを開発し、公開したのでしょうか？Appleによると、その目的は以下の2つです：

• 研究コミュニティへの貢献
• オープンソースの大規模言語モデル開発の進歩

つまり、AppleはAI研究の発展に寄与したかったのです。実際、OpenELMはAppleの機械学習研究Webサイトで公開されており、誰でも利用できます。

この問題が示唆すること

この一連の出来事から、いくつかの重要な点が浮かび上がってきます：

1. AIの学習データの透明性：AIの学習に使用されるデータの出所や内容について、より透明性が求められています。
2. 研究と実用の線引き：AIの研究と実際の製品への応用には明確な線引きが必要です。
3. データ使用の倫理：著作権のあるコンテンツをAIの学習に使用することの是非が問われています。
4. 企業の責任：大手テック企業には、AI開発における責任ある行動が期待されています。

Appleのこのような迅速な対応は評価できます。AIの発展と倫理的な配慮のバランスを取ることは非常に難しい課題ですが、Appleはその挑戦に真摯に取り組んでいるように見えます。

今後の展望

今回の一件は、AI開発の透明性と倫理性に関する議論を加速させるきっかけになるでしょう。今後、以下のような動きが予想されます：

1. AI学習データの出所に関する規制の強化
2. AIモデルの開発と実用化のプロセスの明確化
3. コンテンツクリエイターとAI企業の間の新たな協力関係の構築
4. AI倫理に関する国際的な基準の策定

私たちユーザーにとっても、AIがどのように開発され、どのようなデータで学習しているかを知ることは重要です。それによって、AIを適切に利用し、その可能性と限界を理解することができるからです。

(Via 9to5Mac.)

これらのモデルの特徴は、クラウドサーバーに依存するのではなく、デバイス上で実行できることです。このリリースは、開発者や研究者にとってAIをより身近で効率的なものにするための重要な一歩です。

OpenELMモデル

OpenELMのリリースは全部で8つのモデルで構成されており、そのうちの4つはCoreNetライブラリを使用して事前に訓練され、残りの4つは命令チューニングされたモデルです。

Appleの研究者は、精度と効率を最適化するために、レイヤーごとのスケーリング戦略を採用しました。これらのモデルは現在、AIコードを共有するための人気コミュニティプラットフォームであるHugging Face Hubで公開されています。

透明性とコラボレーション

通常とは異なり、Appleは最終的な学習済みモデルだけでなく、コード、学習ログ、モデルの複数のバージョンも提供しています。この透明性の高さは、自然言語AIの分野において、より迅速な進歩と信頼性の高い結果を促進することを目的としています。

トレーニング前の設定や複数のチェックポイントを含む、トレーニングと評価のための完全なフレームワークを共有することで、Appleはコラボレーションとオープンな研究を奨励しています。

精度と効率の向上

OpenELMモデルは、言語モデリングにおいて最先端の性能を発揮します。レイヤー単位のスケーリング戦略により、変換モデルの各レイヤー内でパラメータが効率的に割り当てられ、精度が向上しています。

例えば、約10億のパラメータバジェットで、OpenELMはOLMoと比較して2.36%の精度向上を示しています。

オープンリサーチコミュニティの強化

AppleがOpenELMモデルをリリースする最大の目的は、最先端の言語モデルをオープンな研究コミュニティに提供し、充実させることです。

これらのモデルへのアクセスを提供することで、研究者はリスク、データ、モデルの偏りをより効果的に調査することができます。さらに、開発者や企業は、モデルをそのまま使用したり、特定のニーズに合わせて修正を加えたりすることができます。

優秀な人材の採用

情報のオープンな共有は、Appleが優秀なエンジニア、科学者、専門家を惹きつけるための重要なツールとなっています。Appleは、研究者がこれらのモデルを使った研究に基づいた論文を発表できるようにすることで、従来の秘密主義的なポリシーでは困難であったような機会を提供しています。

このような透明性の向上とコラボレーションへのシフトにより、AppleはAI研究の優秀な頭脳にとって、より魅力的な雇用主としての地位を確立することになるでしょう。

Appleデバイスへの将来的な影響

Appleはまだこれらの高度なAI機能を自社のデバイスに統合していませんが、噂によると、次期iOS 18にはいくつかの新しいAI機能が含まれるようです。さらに、Appleはユーザーのプライバシーを確保するために、大規模な言語モデルをデバイス上で実行する予定だと言われています。

OpenELMのリリースは、近い将来、よりインテリジェントでセキュアなAppleデバイスへの道を開く、これらのエキサイティングな開発の先駆けかもしれません。

(Via MacRumors.)