雑文です。
現在取り組んでいる SSD-to-GPU ダイレクト機能の実装には、PostgreSQL/PG-Strom側の機能拡張だけれなく、NVMe SSDからGPU RAMへのDMAを実行する Linux kernel ドライバの開発が必要になる。
Linux kernelにはDMAを実行するためのインフラが既に多数揃っているので、ドライバの開発自体はそれほど大仕事ではないのだが、GPUがその機能に対応している必要がある。
NVIDIA提供のドキュメントによると、
GPUDirect RDMA :: CUDA Toolkit Documentation
GPUDirect RDMA is available on both Tesla and Quadro GPUs.
と、あり、いわゆるコンシューマ向け廉価製品であるGTXでは対応していない。
対応していないというのは、GPU上のRAMをホストアドレス空間にマップするためのAPIである nvidia_p2p_get_pages() がエラーを返してしまうので、それ以上は如何ともし難いという事である。
int nvidia_p2p_get_pages(uint64_t p2p_token,
uint32_t va_space_token,
uint64_t virtual_address,
uint64_t length,
struct nvidia_p2p_page_table **page_table,
void (*free_callback)(void *data),
void *data);試しに、手元で利用可能なGPU何種類かでトライしてみたところ
- × GTX 750Ti
- × GTX 980
- ○ Tesla K20c
という結果。GTX980は割とハイエンドのモデルではあるのだが、それでも対応してないモノは対応していない。
会社で使う分には Tesla K20c があるので良いのだが、問題は週末プログラマの開発環境。
特に今年のゴールデンウィークは長いので、"動作確認・デバッグは連休明けまでお預け" なんて事になると精神衛生上も大変によろしくない。
ので、上記の GPU Direct 機能に対応していて、かつ、できるだけ廉価な製品を買う事にした。
Teslaシリーズはさすがに高くて手が出ないので、ワークステーション向け Quadro のラインナップから選択。エントリーモデルかミドルレンジ程度ならなんとか手が出る。
NVIDIA Quadro シリーズ | カテゴリー製品情報 | 株式会社 エルザ ジャパン
とはいえ、今回購入する事になった Quadro K1200 は4万円程度の品で、個人で買うには覚悟の要る品物。『TeslaとQuadroで対応って書いてあるけど、あれってハイエンドモデルだけだから（ﾃﾍﾍﾟﾛ』みたいのが一番困るので、日本でのNV社代理店であるエルザ・ジャパン様に問い合わせてみた。
質問）
Quadro K1200 の購入を検討しているのですが、GPUDirect RDMAには対応しているでしょうか？NVIDIA社のドキュメントには以下の記述があります。
http://docs.nvidia.com/cuda/gpudirect-rdma/index.html
GPUDirect RDMA is available on both Tesla and Quadro GPUs.
回答）
GPU Directにつきましては、サポートされていますので、下記のアドレスを参照してください。
http://www.nvidia.com/object/compare-quadro-gpus.html
ただ、製品ごとの機能マトリックスには『GPUDirect for Video』という項目が掲載されており、しかもK1200にはチェックが付いていないという内容であったので、再度確認してみた。
当方が気にしているのは、以下の GPU Direct 機能の対応可否です。
https://developer.nvidia.com/gpudirectUsing GPUDirect, multiple GPUs, third party network adapters,solid-state drives (SSDs) and other devices can directly read and write CUDA host and device memory, eliminating unnecessary memory copies
とあるように、SSD ⇒ GPUへの直接データ転送を行う Linux kernel ドライバの開発に使用したいと思っているのですが、『本当にこれを買ってしまっていいの？』 という疑問が腹落ちしておりません。
お手数ですが、再度確認をお願いできないでしょうか？
その後、
失礼しました。
実際に動作確認をしますので、少しお時間をいただけますでしょうか？
後日、ご連絡いたします。
という連絡があり、その数時間後に、
別の部署にて確認しましたところ、動作はするようですが、
K1200 の IB 4ノードクラスタより、1ノードで、Tesla の方が速いそうです。
と、実際に動作確認を行った上で回答を頂いた。
GPUは開発・デバッグ用に使いたいだけなので、性能は全く気にしていない。なので、早速ポチっと注文。日曜日の夕方には届いたので早速PCに装着してみた。
これまで使っていたGTX 750Tiを取り外し、Quadro K1200を装着する。
Quadro K1200とIntel 750 SSDを同じPCI-Eバス上に装着。
これで SSD-to-GPU ダイレクトを使用する前提条件が整った・・・ハズ。
試しに、作成途中のカーネルモジュールをロードし、テストプログラムで ioctl(2) を叩いてみる。
$ sudo insmod nvme-strom.ko $ ./driver_test -p 4 /opt/nvme/testfile vaddr=0x701720000 length=4194304 ioctl(STROM_IOCTL_PIN_GPU_MEMORY) = 0
OK、0が返ってきたという事は、Quadro K1200上で nvidia_p2p_get_pages() が正しく動作している。
$ dmesg | tail -80
[ 6933.359672] nvme-strom: P2P GPU Memory (handle=18446612149830398528) was mapped
version=65537, page_size=1, entries=64
[ 6933.359675] nvme-strom: H:0000000701720000 <--> D:00000000e0180000
[ 6933.359676] nvme-strom: H:0000000701730000 <--> D:00000000e0190000
[ 6933.359677] nvme-strom: H:0000000701740000 <--> D:00000000e01a0000
[ 6933.359677] nvme-strom: H:0000000701750000 <--> D:00000000e01b0000
:ログメッセージにも、デバイスの仮想アドレスと物理アドレスの対応が表示されており、GPUのページテーブルを正しく取得できたという事を示唆している。これで勝つる。
という訳で、こんな質問を投げるマニアは一体何人おるんだというニッチな問い合わせに対して、しかも小売価格で高々４万円の製品を売るために、わざわざ動作検証まで行っていただいたエルザ・ジャパン様のユーザ対応に大変感動した次第である。
