Googleの評価手法の詳細

GoogleはGeminiの性能向上のため、契約社員を活用して独自の評価システムを構築しています。この評価システムでは、契約社員がGeminiとClaudeの回答を比較し、その精度や品質を詳細に分析しています。

契約社員には1つの質問に対して最大30分の評価時間が与えられ、真実性や詳細度などの複数の基準に基づいて両者の回答を採点しています。

安全性に関する興味深い発見

評価プロセスの中で、特に注目すべき点が明らかになっています。契約社員の内部チャットによると、Claudeは安全性に関してGeminiよりも厳格な基準を持っているとされています。

例えば、他のAIアシスタントになりすますことを求められた場合、Claudeはそのような要求を拒否する傾向がありました。また、特定の不適切なコンテンツに関する質問に対して、Claudeは回答を控える一方、Geminiは安全性の観点から問題のある回答をしてしまうケースがあったことも報告されています。

法的・倫理的な問題

この状況は、AI開発における重要な法的・倫理的問題を提起しています。Anthropicのサービス利用規約では、競合製品やサービスの開発、競合するAIモデルのトレーニングを目的としたClaudeの利用は、Anthropicの承認なしには禁止されています。興味深いことに、GoogleはAnthropicの主要な投資家の一つでもあります。

Googleの公式見解

GoogleのDeepMind部門の広報担当者であるShira McNamara氏は、この件について興味深いコメントを発表しています。McNamara氏によると、Googleは評価プロセスの一環としてモデルの出力を比較することはあるものの、GeminiのトレーニングにAnthropicのモデルは使用していないと説明しています。

これは、AI開発における「評価」と「トレーニング」の明確な線引きを示す重要な声明となっています。

今後の展望と業界への影響

この事例は、AI開発における企業間の複雑な関係性と、技術評価の手法について重要な示唆を与えています。特に、AI性能の評価方法や、競合他社のAIモデルの利用に関する規約のあり方について、業界全体での議論が必要となることが予想されます。

(Via Tech Crunch.)