テクニカル ドキュメント #142

GPUDirect RDMA とは

GPUDirect RDMA は、GPU と PCI Express デバイス間でダイレクト・メモリ・アクセス (DMA) を実行することを可能にする、一部の NVIDIA GPU で利用可能な機能です。お使いの GPU がこの目的で GPUDirect をサポートしていることを、NVIDIA のウェブサイトで確認してください。

注意:
NVIDIA GPUDirect RDMA は現在 Linux のみでサポートされています。将来的には、さらに多くの GPU や OS のサポートを追加予定です。

システム要件

1. GPUDirect をサポートする NVIDIA GPU
2. WinDriver と通信する PCIe デバイス

ソフトウェアの前提条件

1. お使いの GPU 用の NVIDIA カーネル ドライバがインストールされている
2. GPUDirect をサポートする CUDA バージョン (バージョン 10 でテスト済み) と NVCC コンパイラーがインストールされている

WinDriver のインストール

WinDriver を tar ファイルから解凍します。

WinDriver のカーネルモジュールが NVIDIA のカーネルモジュールとリンクされていることを確認して、GPUDIRECT を許可してください。

DMA を CPU から GPU に移動

GPUDirect DMA ルーチンの実装に移る前に、デバイスとコンピュータ RAM 間の「通常の」DMA ルーチンを実装し、テストしておくことを強くお勧めします。

WinDriver ベースのコードに DMA ルーチンを既に実装している場合、メインメモリの代わりに GPU メモリに DMA を実行するには、以下の手順を実行してください。

コンパイルを修正

make を使ってコンパイルする場合は、こちらの指示に従ってください。
CMake を使用する場合は、以下の詳細な例を参照してください。

1. gcc の代わりに CUDA コンパイラ (nvcc) でアプリをコンパイルするように makefile を変更します。
2. makefile を変更して ld の代わりに CUDA コンパイラ (nvcc) でアプリをリンクするようにします。
3. リンカフラグ(LFLAGS)に -lcuda を追加して、CUDA 共有ライブラリとリンクするようにします。
4. リンカフラグから -fno-pie と -m$(USER_BITS) を削除します。

コードを修正

1. 下記を追加
#include <cuda.h>
#include <cuda_runtime.h>
2. 関数 WDC_DMASGBufLock() の pBuf パラメータのメモリを割り当てるため、通常の malloc() を使用する代わりに、cudaMalloc() を使用してください。
3. WDC_DMASGBufLock() の dwOptions パラメータに DMA_GPUDIRECT フラグが含まれていることを確認します。
4. 次のコードを追加して、DMA バッファ (この例では pDma->pBuf) との同期メモリ操作を有効にします。

int flag = 1;
if (CUDA_SUCCESS != cuPointerSetAttribute(&flag,
CU_POINTER_ATTRIBUTE_SYNC_MEMOPS, (CUdeviceptr)pDma->pBuf))
{
printf("cuDeviceGet failed\n");
return;
}

5. GPU メモリにアクセスするために CUDA 関数を使用してください: cudaMemcpy, cudaFree など。GPU メモリへのポインタで通常のメモリ管理関数を使用すると、クラッシュにつながる可能性があります。

注意:
通常のメモリバッファ (cudaMalloc() を使用して割り当てられていない) で割り当てられたバッファで DMA_GPUDIRECT フラグを使用して WDC_DMASGBufLock() を呼び出すと、内部システムエラー (ステータス 0x20000007) が発生します。

CMakeの例

CMake を使用してコードをコンパイルする場合、次の手順を参考として使用してください。