GPU Direct可实现GPU与其他设备（例如网络接口卡和存储设备）之间的直接通信和数据传输，而不涉及CPU。传统上，当数据需要在GPU和另一个设备之间传输时，数据必须通过CPU，从而导致潜在的瓶颈并增加延迟。使用GPU Direct，网络适配器和存储驱动器可以直接读写GPU内存，减少不必要的内存消耗，减少CPU开销并降低延迟，从而显著提高性能。GPU Direct技术包括GPUDirect Storage、GPUDirect RDMA、GPUDirect P2P和GPUDirect视频。本节重点介绍GPUDirect RDMA的相关信息及使用方法。
GPUDirect RDMA结合了GPU加速计算和RDMA技术，实现了在GPU和RDMA网络设备之间直接进行数据传输和通信的能力。他允许GPU直接访问RDMA网络设备中的数据，无需通过主机内存或CPU的中介，如图1所示。
GPUDirect RDMA通过绕过主机内存和CPU，直接在GPU和RDMA网络设备之间进行数据传输，显著降低传输延迟，加快数据交换速度，并可以减轻CPU负载，释放CPU的计算能力。另外，GPUDirect RDMA技术允许GPU直接访问RDMA网络设备中的数据，避免了数据在主机内存中的复制，提高了数据传输的带宽利用率。