Loup Venturesは、AIの実用的な使用事例やコンピューティング・インプットとしての音声の出現をよりよく理解するための継続的な努力の一環として、最も一般的なデジタルアシスタントとスマート・スピーカーをテストしています

テストは、Siri、Google Assistant、Alexa、Cortanaの各800の質問で尋ね、今年はSiri（79％）、Alexa（61％）、Cortana（52％）に対して、Google Assistantの正確な回答率は86％でした

方法

各デジタルアシスタントに同じ800の質問をし、2つの測定基準で評価しました

1. 何を尋ねられたのか理解出来たか？
2. それに正しい応答をしたか？

ジタルアシスタントの能力と有用性を包括的にテストするために設計された質問セットは、、5つのカテゴリに分類されます

• ローカル – 最も近いコーヒーショップはどこですか？
• コマース – ペーパータオルを注文できますか？
• ナビゲーション – どのようにバスで山の手に行くのですか？
• 情報 – 今夜は誰がツインズをプレイしますか？
• コマンド – 今日午後2時にスティーブに電話することを教えてください

テストは、iOS 11.4ではSiri、Pixel XLではGoogle Assistant、iOSアプリではAlexa、iOSアプリではCortanaを使用してテストが行​​われました

結果

Google Assistantは、正確に86％の回答し、800件の質問をすべて理解していました、Siriは、79％が正しく答えて、11の質問だけを誤解していました、Alexaは正しく61％に答え、13を誤解していました、Cortanaは正しく52％に答え、19を誤解しました

ほとんどすべての誤解された質問には、固有の名詞が含まれており、多くの場合、地元の町やレストランの名前が含まれています

時間の経過に伴う改善

Google Assistantは15か月間で11％の改善、Siriは13％、Cortanaの改善は3％でした、Alexaアプリには過去のデータはありません

人々がSiriについて抱いている苦情を考えると、Appleの音声アシスタントSiriがAmazon Alexaより優れているということは興味深いことです

Amazon Alexaは一般的にSiriよりも優れていると考えられています、それはAlexaがHomePodに組み込まれた制限のためにスマートスピーカーでSiriに勝っているからです

おそらく来年は、HomePod OS 12やiOS 12のショートカットで期待している改善で変わると思われます

(Source Loup Ventures , Via the Mac Observer.)