RDMA可以降低分布式机器学习系统中的通信开销，但要在生产中实现这些好处，不仅仅是替换TCP。
可变大小的消息、并发连接、突发incasts和服务故障引入了硬件卸载无法解决的挑战。本文报告了我们在字节跳动参数服务器推理和训练系统中部署ByteExpress（在硬件RDMA之上的软件通信层）的经验。
我们从部署中总结了三个经验教训：高效的RDMA需要跨应用层和传输层进行缓冲区管理；可扩展的通信需要协调管理连接、接收能力和未完成数据；服务可用性需要在传输层之上进行恢复。
ByteExpress结合了RDMA感知分配器、零拷贝传输、QP复用、接收信用流量控制、软件发送窗口和RPC辅助恢复。
在生产推理中，与内核TCP相比，ByteExpress将平均和P99模型参数获取延迟分别降低了35.7%和43.7%，并将总CPU使用率降低了10.69%。
在训练中，与TCP相比，ByteExpress将P99模型参数推送延迟降低了高达74.0%，运行时未观察到PFC暂停。