-用語解説-

株式会社HPCソリューションズ
2011年08月05日

インフィニバンドは双方向型シリアル接続によるサーバ間通信に利用されています。 サーバにはHCA(Host Chanel Adapter)を取付け、インフィニバンドスイッチを介して複数のサーバを接続し、インフィニバンドのネットワークを作ります。 これまで、転送速度によりSDR(Single Data Rate)、DDR(Double Data Rate)、QDR(Quad Data Rate)という三つの規格がありました。 2011年Q3にはFDR(Fourteen Data Rate)が加わります。 このホームページではインフィニバンドのそれぞれの規格の帯域幅とその仕組みについてご紹介します。

インフィニバンドSDRは１レーンあたり片方向2.5Gbpsの帯域幅を持ちます。 HCAは４レーン（4X）での接続に対応しています。 つまり、SDRのHCAは10Gbpsの帯域幅を持っています。 SDRの倍の帯域幅を持つDDRは20Gbps、４倍のQDRは40Gbpsになります。 データ転送では8B/10Bエンコーディングが使われるため、実際に転送出るデータのサイズは帯域幅の80%に制限されます。 つまり、SDRのHCAでは8Gbps、DDRは16Gbps、QDRは32Gbpsです。 この値をビットからバイトに変換するとSDRのHCAは1GB/s、DDRは2GB/s、QDRは4GB/sになります。

インフィニバンド規格と帯域幅

*1 EDRについては発売未定で帯域幅の数値も変更される可能性があります。

2011年9月以降に販売されるFDR(Fourteen Data Rate)は１レーンあたり14Gbpsの帯域幅を持つので、HCAの帯域幅は56Gbpsになります。 SDRからDDR、DDRからQDRは帯域幅が倍に増えていったことに比べると、FDRのパフォーマンスアップはインパクトが小さいと思われがちです。 しかしながら、64B/66Bエンコーディングに変更されたため、FDR-HCAの実質的な帯域幅は約54.3Gbpsになります。 これはQDR 32Gbpsの約1.7倍にあたり、約22Gbpsのパフォーマンスアップが期待できます。

FDRの次に予定されているEDR(Enhanced Data Rate)は、当初、QDRに続くEight times Data Rateの予定だったようですが、エンコード方法の変更が入り、FDRが作られたという経緯があったそうです。 EDRの後にはHDR(High Data Rate)、NDR(Next Data Rate)と続く計画です。

最近のHCAはPCI Express接続でサーバに搭載しますが、実はPCI Expressの帯域幅がインフィニバンド通信のボトルネックになる可能性があります。 例えば、QDRのHCAはPCI Express Gen 2 x8で接続します。 PCI Express Gen 2は１レーンあたり片方向5Gbpsですので、x8のスロットは片方向40Gbpsの帯域幅を持つことになります。 これはQDRと同じ帯域幅ですので、FDRはPCI Express Gen 2で使用すると、ボトルネックが生じて当初の性能を発揮することが出来ません。 このため、FDRのHCAはPCI Express Gen 3に対応しています。

また、NVIDIA MELLANOXではPCI Express Gen 2 対応サーバのために、FDR10というHCAの発売を計画しています。 40Gbpsのボトルネックはありますが、64B/66Bエンコーディングにより実質的な帯域幅は38.8Gbpsになり、QDRの32Gbpsに比べ約7Gbpsのアドバンテージがあります。

インフィニバンドとPCI Expressの帯域幅比較