「D +」から「C」にアップ

AppleのAIアシスタントのSiriの最新の800の質問テストでは、質問の99％を理解し、75％に正しく答えることができ、「C」グレードを獲得できました

2017年の4月、Siriは同じテストで「D +」を獲得し、クエリの94％を理解し、正しく66％に答えました

これらのテストは、スマートスピーカーテストと同じ方法論と質問セットで行われます
AIアシスタントの能力と精度の全範囲をテストするために設計された5つのカテゴリ（ローカル、コマース、ナビゲーション、情報、コマンド）に分けられた800の質問を含みます

パフォーマンス

Siriの正解率が8ヶ月間に9％向上したのは、Amazon AlexaやGoogle Homeなどのスマートなスピーカーベースのアシスタントと並んで高い改善率でした

比較のため、Alexaはクエリの64％とGoogle Home 81％に正しく答えました、しかしこれらの結果は、スマートフォンベースのデジタルアシスタントが照会に異なって応答したり、デバイスの画面上で情報を呼び出すこと、またはデバイス自体を制御するように、直接的に比較することはできません

それにもかかわらず、今年の4月のテストと比較したSiriの12月の実績と、2012年、2013年、2014年に実施した同様の方法論と質問セットを用いた以前のテストに、5つのカテゴリーすべてで改善を示しています

Siriのテストでは、答えを見つけるのに役立つ検索結果を表示するのではなく、簡潔な答えを1つだけ伝えることができたときにのみ正解を数えました
つまり、「ウェブ上でこれを見つけました…」というエラーは、間違っているとみなされます

Siriは4月のテストから9％向上しましたが、AIのアシスタント技術を普及させる「A」グレードとはかなり離れています
「A」グレードを獲得するには、テストスコアが90％の範囲（正確に回答された質問の90％）にある必要があります

ここで現在考慮することは、SiriがいつでもAIアシスタントが望むように私たちのコンピューティングエクスペリエンスをつなぐファブリックとして機能していないということです

私たちは今のところはSiriなしで暮らすことができますが、私たちが見ている改善のスピードで、SIriが2年間で不可欠であることを期待しています

(Via Loupventures.)


Siriの回答率は改善されているようですが、HomePodが昨年末リリースできなかったことでスマートスピーカーとしてAmazon Alexaに大きく遅れを取ってしまっています

今後4〜6週間後にHomePodがリリースとの噂がありますが、この時の出来如何に大きく左右されるのではないかと思われます


では、では・・・