从CUDA 4.0开始NVIDIA就已经支持GPU Direct v2.0技术。GPU Direct允许GPU进行点对点通信。CUDA中的点对点通信指令允许GPU直接进行信息交互。点对点模式下所获得的有效通信带宽取决于GPU与系统连接的方式。具有特定通信需求的应用以及开发人员可利用的带宽能够决定使用多少颗GPU以及哪些GPU最符合他们的特定需求。让我们一起了解一下各种使用场景。
下图从概念上展示了GPU之间的通信过程。C410x有16颗GPU，每颗GPU通过二层交换机与C410x上的8个端口之一进行连接(在图中交换机层用单个交换机表示)。黑线代表的是主机内部的IOH与C410x的交换机之间的连线，红线代表的是彼此通信的两颗GPU。
▲图1：GPU通过主机内存进行通信。总带宽大约为3GB/s。
▲图2：通过主机节点共享的IOH进行GPU之间的通信。总带宽大约是5GB/s。
▲图3：GPU通过C410x上的交换机进行通信。总带宽大约为6GB/s。
