フルマラソンを 2 時間未満で完走するには専用のシューズが必要です。AI も同じです。
データは急激に増えています。5 年後には、人間とマシンは 2019 年の 10 倍のデータを生成し、その 70% 以上がエッジで生成されます。そのうちの半分はパブリッククラウドに転送され、残りの半分はエッジで処理、保存、解析が行われます。
これには、利用可能な帯域幅とコスト、データ主権、セキュリティー、リアルタイム処理の必要性の高まりなど、いくつかの理由があります。膨大な量のデータを高速に処理するには、現在のアプローチよりもはるかに効率的なアプローチが必要です。それが、インテルが最も要求の厳しい顧客向けに専用の製品とツールを提供している理由です。
スマートシティーから産業、小売からヘルス & ライフサイエンスに至るまで、あらゆる業界のあらゆる規模の企業によってエッジでの AI の採用が急速に進んでいます。インテルのエッジ・ポートフォリオは、既存のインフラストラクチャー、投資、および経験をより価値のあるものにするため、顧客と開発者から非常に好評を得ています。
AI の利点を最大限に活用するには、ソフトウェアをオープンかつ使いやすくし、エッジ独自の要件に合わせて製品とツールを設計し、次世代の人材に投資する必要がある
2019 年 11 月に開催されたインテル® AI Summit で、私はエッジでの AI パフォーマンスの向上とパフォーマンスを容易に向上できるようにするハードウェアとソフトウェアの革新について述べ、次世代のインテル® Movidius™ ビジョン・プロセシング・ユニット (VPU) (英語) (開発コード名 Keem Bay) を発表しました。開発コード名 Keem Bay は、ディープラーニング、ビジョン、およびメディア向けに設計された低電力 (4-15 ワット) でハイパフォーマンスなエッジ推論製品で、7 カ国にわたる 10 チーム、1,000 人を超える優秀な人材によって開発されました。現在、初期の顧客テストが実施されており、2020 年の前半に発売予定です。
このアーキテクチャーは、エッジ推論向けに高度に最適化されており、画期的なパフォーマンスの向上をもたらす強力な製品です。柔軟なフォームファクターにより、カメラ用のチップダウンから、キオスクやロボット用のコンパクトな M.2 カード、高密度でスケーラブルなエッジ AI サーバーを加速するため複数の VPU を並列に実行可能な強力な PCIe* カードに至るまで、広範に採用できます。これにより、顧客の求めるすべてのエッジ体験に応えることができます。
市場の競合製品と比較して、開発コード名 Keem Bay は非常に優れています。初期テストでは、競合製品である NVIDIA* TX2 のパフォーマンスよりも最大 4 倍高速です。開発コード名 Keem Bay よりも上位の製品である Nvidia* Xavier* (30W、サイズは 5倍) との比較では、1/5 の消費電力で同等の生のパフォーマンス1 を達成できます。
これはエッジでは重要です。顧客は、生のパフォーマンスだけではなく、電力、サイズ、レイテンシーも重視します。開発コード名 Keem Bay はこれらの点でも優れています。電力は、NVIDIA* TX2 と比較して、1 ワットあたりの推論パフォーマンスが 6 倍以上です。
1mm あたりの推論2 は、TX2 の 8.1 倍で、Xavier* と比較するとさらに優れています。
そして、エッジ推論向けに設計されているため非常に効率的で、無駄な TOPS がなく、TOPS ごとの 1 秒あたりの推論は NVIDIA* Xavier* の 4 倍です。
開発コード名 Keem Bay は、別の用途向けに設計された製品をベースとするのではなく、エッジ推論向けに設計されています。
キプチョゲ選手がフルマラソンで 2 時間の壁を破るのを Nike の Vaporfly シューズがサポートしたように、専用シリコンはエッジで AI の新しい波を可能にする
インテルは、シリコンの革新だけではなく、AI の普及にも取り組んでいます。オープンソースの OpenVINO™ ツールキットのような使いやすいツールは、均等な機会の鍵です。
OpenVINO™ ツールキットは、1 つのコードをさまざまなインテル® プロセッサーに展開して最大限のパフォーマンスを引き出すことを可能にする開発ツールとランタイムです。OpenVINO™ ツールキットを使用することで、ハードウェア・アーキテクチャーと電気工学の専門知識がなくても高性能なシステムを利用できます。
また、OpenVINO™ ツールキットの新しいコンパニオンとして、インテルはインテル® DevCloud for Edge (英語) もリリースしました。開発者は、次のフローに従って作業できます。
最初に、標準フレームワークを使用して、OpenVINO™ ツールキットのモデル・オプティマイザーでモデルを実行し、任意のインテル® アーキテクチャーでエッジ向けに自動高速化します。
次に、ディープラーニング・モデルのユースケースに適したパフォーマンスを提供するインテル製品を調べるため、インテル® DevCloud for Edge 上のさまざまなインテル® アーキテクチャーでモデルをテストします。ハードウェアの選択肢が示され、購入する前にテストすることが可能です。インテル® DevCloud for Edge は、すでに 2,700 を超える顧客がベータ版を使用しており、好評を得ています。
展開準備が整ったら、OpenVINO™ ツールキットのランタイムは、システム全体の機能を考慮して、CPU コア、iGPU、アクセラレーター、またはその他のソフトウェアにわたって負荷を分散することで、ソフトウェア定義の自動並列化を実現します。
ソリューションやアルゴリズムの構築は 1 つのステップにすぎません。ソリューションやアルゴリズムをエッジにスケーリングするには、パートナー各社によるエコシステムが必要であり、インテル® AI: In Production (英語) プログラムは、ソリューション開発者、ODM、システム・インテグレーターなどを組み合わせて大規模な展開を可能にします。
最後に…長い間、ディープラーニングのコースウェアはクラウドの AI に重点を置いてきました。2019 年 11 月に、インテルは Udacity と協力して、データが生成される「エッジ」で AI を実行する方法について、次世代の開発者をトレーニングする Edge AI Nanodegree (英語) を発表しました。このコースでは、750 の奨学金が授与されます。
まとめ
開発コード名 Keem Bay の画期的なアーキテクチャーは、わずかな電力、サイズ、コストで優れた生のパフォーマンスと効率を提供します。
開発コード名 Keem Bay は、インテルのエッジ向けの製品、ツール、サービスの完全なポートフォリオを補完します。
OpenVINO™ ツールキットと新しいインテル® Dev Cloud for Edge を含むこのポートフォリオは、専門家やデータ・サイエンティストを擁する大企業だけでなく、誰もが AI を利用できるようにします。
作業の開始点として、インテルと Udacity が協力してリリースした最初の Edge AI Nanodegree を利用できます。
これらの製品はそれぞれ並外れたパフォーマンスと価値を顧客にもたらします。連携して使用することで、人材や資本への大規模投資を行わなくても、すべての業界のすべての規模の顧客がエッジ AI を利用できるようにします。
1 開発コード名 Keem Bay のスループットは Xavier* のスループットの 10% 以内
| Product |
Intel® 3rd Gen Intel® Movidius™ VPU
“Keem Bay” |
NVIDIA* Jetson* TX2 |
Huawei* Atlas 200
(Ascend 310) |
NVIDIA* Xavier* AGX |
| Testing as of |
10/31/19 |
10/30/19 |
8/25/19 |
10/22/19 |
| Precision |
INT8 |
FP16 |
INT8 |
INT8 |
| Batch Size |
1 |
1 |
1 |
1 |
| Product Type |
Keem Bay EA CRB Dev kit (preproduction) |
Jetson* Developer kit |
Atlas 200 Developer kit |
Jetson* Developer kit |
| Mode |
N/A |
nvpmodel 0 Fixed Freq |
N/A |
nvpmodel 0 Fixed Freq |
| Memory |
4GB |
8GB |
8GB |
16GB |
| Processor |
ARM* A53 x 4 |
ARM* v8 Processor rev 3 (v8l) × 4 |
ARM* A53 x 8 |
ARMv v8 Processor rev 0 (v8l) × 8 |
| Graphics |
N/A |
NVIDIA* Tegra* X2 (nvgpu)/integrated |
N/A |
NVIDIA* Tegra* Xavier* (nvgpu)/integrated |
| OS |
Ubuntu* 18.04 Kernel 1.18 (64-bit) on Host
Yocto Linux* 5.3.0 RC8 on KMB |
Ubuntu* 18.04 LTS (64-bit) |
Ubuntu* 16.04 |
Ubuntu* 18.04 LTS (64-bit) |
| Hard Disk |
N/A |
32GB |
32GB |
32GB |
| Software |
Performance demo firmware |
JetPack: 4.2.2 |
MindSpore Studio, DDK B883 |
JetPack: 4.2.1 |
| Listed TDP |
N/A |
10W |
20W |
30W |
The above is preliminary performance data based on pre-production components.
Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors.
Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more information go to www.intel.com/benchmarks.
Performance results are based on testing as of Oct 31, 2019 and may not reflect all publicly available security updates. See configuration disclosure for details. No product or component can be absolutely secure.
Intel technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Performance varies depending on system configuration. Check with your system manufacturer or retailer or learn more at www.intel.com.
Intel, the Intel logo, Movidius, OpenVINO and Xeon are trademarks of Intel Corporation or its subsidiaries. Other names and brands may be claimed as the property of others.
© Intel Corporation.