跳转至

分布式训练

深度学习中,越来越多的场景需要分布式训练。由于分布式系统面临单机单卡所没有的分布式任务调度、复杂的资源并行等问题,因此,通常情况下,分布式训练对用户有一定的技术门槛。

在 OneFlow 中,通过顶层设计与工程创新,做到了 分布式最易用,用户不需要特别改动网络结构和业务逻辑代码,就可以方便地使用 OneFlow 进行分布式训练。这是 OneFlow 区别于其它框架的 最重要特性

本文将介绍:

  • 如何将单机程序修改为分布式程序

  • OneFlow 中节点概念及分工

OneFlow 分布式优势

  • 采用去中心化的流式架构,而非 masterworker 架构,最大程度优化节点网络通信效率

  • 提供 consistent view,使得用户可以像编写单机单卡程序那样编写分布式程序

  • 提供 mirrored view,熟悉其它框架分布式训练的用户可直接上手

  • 极简配置,由单机单卡的训练程序转变为分布式训练程序,只需要几行配置代码

配置分布式训练网络

只需要增加几行简单的配置代码,指定分布式计算的节点 IP 以及每个节点使用 GPU 的数量,即可实现分布式的训练网络。

换句话说,这使得单机训练程序与分布式训练程序几乎是一样的,作为 OneFlow 用户,只需要专注于程序的 业务逻辑模型结构本身 ,而不用操心分布式执行问题。分布式的一切问题,都由 OneFlow 处理。

下面,我们会介绍一个例子:将单机版的训练程序,通过添加几行配置代码后将其改造为分布式训练程序。

单机训练程序

以下是单机训练程序的框架,因为其网络结构及业务逻辑与文末的分布式程序完全一样,因此函数实现未详细列出。

import numpy as np
import oneflow as flow
import oneflow.typing as tp

BATCH_SIZE = 100

def mlp(data):
  #构建网络...


@flow.global_function(type="train")
def train_job(
    images: tp.Numpy.Placeholder((BATCH_SIZE, 1, 28, 28), dtype=flow.float),
    labels: tp.Numpy.Placeholder((BATCH_SIZE,), dtype=flow.int32),
) -> tp.Numpy:
  #作业函数实现...
  #配置训练优化方法和参数


if __name__ == '__main__':
  #调用作业函数,开始训练...
      loss = train_job(images, labels)
  #...

GPU及端口配置

oneflow.config 模块中,提供了分布式相关的设置接口,我们主要使用其中两个:

  • oneflow.config.gpu_device_num : 设置所使用的 GPU 的数目,这个参数会应用到所有的机器中;

  • oneflow.config.ctrl_port : 设置用于通信的端口号,所有机器上都将使用相同的端口号进行通信。

以下代码中,我们设置每台主机使用的 GPU 数目为1,采用9988端口通信。大家可以根据自身环境的具体情况进行修改。

#每个节点的 gpu 使用数目
flow.config.gpu_device_num(1)
#通信端口
flow.env.ctrl_port(9988)

注意,即使是单机的训练,只要有多张 GPU 卡,我们也可以通过 flow.config.gpu_device_num 将单机程序,设置为单机多卡的分布式程序,如以下代码,设置1台(每台)机器上,2张 GPU 卡参与分布式训练:

flow.config.gpu_device_num(2)

节点配置

接着,我们需要配置网络中的主机关系,需要提前说明的是,OneFlow 中,将分布式中的主机称为节点(node)。

每个节点的组网信息,由一个 dict 类型存放,其中的 "addr" 这个 key 对应了节点的 IP 。 所有的节点放置在一个 list 中,经接口 flow.env.machine 告之 OneFlow ,OneFlow 内部会自动建立各个节点之间的连接。

nodes = [{"addr":"192.168.1.12"}, {"addr":"192.168.1.11"}]
flow.env.machine(nodes)

如以上代码中,我们的分布式系统中有2个节点,IP 分别为"192.168.1.12"与"192.168.1.11"。

注意,节点 list 中的第0个节点(以上代码中的"192.168.1.12"),又称为 master node,整个分布式训练系统启动后,由它完成构图,其它节点等待;当构图完成后,所有节点会收到通知,知晓各自联系的其它节点,去中心化地协同运行。

在训练过程中,由 master node 保留标准输出及保存模型,其它节点只负责计算。

我们可以将针对分布式的配置代码封装为函数,方便调用:

def config_distributed():
    print("distributed config")
    #每个节点的gpu使用数目
    flow.config.gpu_device_num(1)
    #通信端口
    flow.env.ctrl_port(9988)

    #节点配置
    nodes = [{"addr":"192.168.1.12"}, {"addr":"192.168.1.11"}]
    flow.env.machine(nodes)

分布式训练及代码

单机程序加入 OneFlow 的分布式配置代码后,就成为了分布式程序,在所有的节点运行一样的程序即可。

我们可以将分布式训练程序与上文的 单机训练程序 比较,会发现仅仅只是增加了 config_distributed 函数并调用,我们之前的单机训练脚本,就成为了分布式训练脚本。

分布式脚本代码:distributed_train.py

192.168.1.12192.168.1.12 上 均运行:

wget https://docs.oneflow.org/code/basics_topics/distributed_train.py
python3 distributed_train.py

192.168.1.12 机器上将显示程序结果。

FAQ

  • 运行本文分布式代码后,程序长期等待,未显示计算结果

    1. 请检查 ssh 配置,确保两台机器之间能够免密 ssh 互联
    2. 请确保两台机器使用了相同版本的 OneFlow、运行的脚本程序完全一样
    3. 请确保训练使用的端口未被占用,或使用 oneflow.config.ctrl_port 更换端口
    4. 如果在环境变量中设置了代理,请确保代理能够正常工作,或者取消掉代理
  • 在 docker 中跑训练,程序长期等待,未显示计算结果

    docker 默认的模式下,物理机与容器中的端口是隔离的,请使用 --net=host host 模式,或者启动容器时使用 -v 选项进行端口映射。具体请查阅 docker 的手册

  • 存在虚拟网卡的情况

    若存在虚拟网卡,可能因为 nccl 的通信走虚拟网卡而无法通信。此时需要通过 export NCCL_SOCKET_IFNAME=device_name 来指定通信网卡,具体可参阅 nccl 官方文档