映像を有益なインサイトに変える

概要

Vitis™ ビデオ解析 SDK

 

Vitis™ ビデオ解析 SDK (VVAS) は、ザイリンクスのプラットフォーム上で AI 搭載のインテリジェント ビデオ解析ソリューションを構築するための完全なソフトウェア スタックです。USB/MIPI カメラ、動画ファイル、RTSP ストリームなどを入力とし、Vitis AI を使用してピクセル データからインサイトを生成して、スマート シティでのトラフィックや歩行者の認識、病院での健康や安全の監視、小売店でのセルフチェックアウトや分析、製造工場での部品の欠陥検出など、さまざまなアプリケーションに適用できます。

この SDK には、ビデオ エンコーダー、デコーダー、マルチスケーラー (リサイズや色空間変換用)、AI 推論用の DPU (深層学習) など、さまざまなアクセラレータを使用する複数のハードウェア アクセラレータ プラグインが含まれています。演算量の多い処理をすべて専用のアクセラレータで実行することで、最高性能のビデオ解析アプリケーションを実現します。

また、開発者コミュニティ向けに、一般的なインフラストラクチャ プラグイン方式のフレームワークやソフトウェア アクセラレーション ライブラリ、さらに簡素化したインターフェイスを提供しているため、カスタム ハードウェア アクセラレータを制御する独自のアクセラレーション ライブラリを開発できます。このフレームワークを使用して、独自開発したアクセラレータ/カーネルを VVAS に簡単に統合できます。XRT (Xilinx Run Time)、Vitis、Vitis AI を含む VVAS は、これらの複雑なインターフェイスを抽象化して、ビデオ解析アプリケーションの構築を容易にします。

VVAS を使用することで、Kria™ SoM や ZCU104 などの Zynq® UltraScale+™ MPSoC ベースのエンベデッド プラットフォーム、または Alveo U30、U50、VCK5000 などの PCIe アクセラレーション プラットフォーム上でアプリケーションを運用できます。


VVAS グラフ アーキテクチャ

VVAS は、オープンソースの GStreamer フレームワークをベースに構築および最適化されたグラフ アーキテクチャです。次のグラフは、映像を入力し、メタデータを出力する一般的なビデオ解析アプリケーションを示しています。これらのすべてのブロックは、使用されているプラグインです。下部には、このアプリケーションで使用されているさまざまなハードウェア エンジンがあります。プラグイン間でメモリが複製されない最適なメモリ管理と多様なアクセラレータを使用することで、最高性能を実現します。


VVAS のコア コンポーネント

カスタム プラグイン
ザイリンクスのプラットフォーム上で最適化済みのカーネルと IP を使用して特定機能を提供するために開発された、高度に最適化された GStreamer プラグインです。

インフラストラクチャ プラグイン
ユーザーが独自のカーネルを GStreamer フレームワークに簡単に統合できるようにサポートする、汎用インフラストラクチャ GStreamer プラグインです。

アクセラレーション ソフトウェア ライブラリ
アクセラレーション カーネル/IP のステート マシンを管理するために開発された、最適化済みのアクセラレーション S/W ライブラリです。VVAS の汎用インフラストラクチャ プラグインへ接続できるようにインターフェイスが表示されます。これらを参考にして、VVAS フレームワークをベースとする新しいアクセラレーション S/W ライブラリを開発することも可能です。

アクセラレーション ハードウェア (カーネル/IP)
ザイリンクスが開発した、高度に最適化されたカーネルです。

リファレンス プラットフォームおよびアプリケーション
VVAS は、さまざまなアプリケーション/ソリューション要件に応えるために、複数のリファレンス プラットフォームを提供しています。


開発フロー

開発フロー

  1. Multichannel ML および Smart Model Select アプリケーションの構築済みイメージをダウンロードします。
  2. チュートリアルの既存機能/パイプラインおよびアプリケーションを実行します。
  3. カスタム ロジック/カーネル用の VVAS アクセラレーション ソフトウェア ライブラリを開発し、VVAS インフラストラクチャ プラグインと統合して機能を検証します。
  4. 現在、VVAS には 16 個の AI モデルが付属します。その他の AI モデルを使用する場合は、独自モデルをご用意いただくか、Xilinx Model Zoo からダウンロードして Vitis AI を使用してコンパイルしてください。
  5. 新しく構築した AI モデルでパイプラインまたはアプリケーションを実行します。

運用オプション
KV260

エンベデッド システムでの運用

VVAS は、エッジ デバイスでクラス最高性能のエンドツーエンド インテリジェント ビデオ解析アプリケーションを実現できる上に、運用時の柔軟性と省電力化も可能にします。

実際に、VVAS の性能を評価してみてください。プラットフォームは、次に示すザイリンクスのエッジ プラットフォームから選択可能です。


オンプレミス運用 Alveo カード

PCIe アクセラレーション デプロイメント

VVAS による強力なサポートにより、ザイリンクスのデータセンター アクセラレータ カードは、インテリジェント ビデオ解析アプリケーションのパイプライン全体を効率的に加速でき、最先端の CPU や GPU よりも高性能で低 TCO を可能にします。

実際に、VVAS を使用して、ザイリンクスの Alveo™ アクセラレーション カードをセットアップしてください。


資料

Vitis ビデオ解析 SDK の資料

設計開始

PCIe アクセラレーション プラットフォームで設計開始

  • ステップ 1: VMSS docker およびドライバーをインストール
  • ステップ 2: PCIe アクセラレーション カードのインストールと設定
  • ステップ 3: サンプル アプリケーションを実行

詳細は、https://japan.xilinx.com/products/acceleration-solutions/xilinx-aupera-vmss.html をご覧ください。

ビデオ