Bootstrap

spark2.1源码分析4:spark-network-common模块的设计原理

spark-network-common模块底层使用netty作为通讯框架,可以实现rpc消息、数据块和数据流的传输。



Message类图

这里写图片描述
所有request消息都是RequestMessage的子类
所有response消息都是ResponseMessage的子类



TransportClient主要提供了三个方法:

//通过给定的streamId,获取远端数据流
public void stream(final String streamId, final StreamCallback callback);
//发送一份不透明的消息到远端
public long sendRpc(ByteBuffer message, final RpcResponseCallback callback);
//通过给定的streamId,获取远端的数据块
public void fetchChunk(long streamId,final int chunkIndex,final ChunkReceivedCallback callback);



Channel Pipeline:

通过TransportClientFactory的createClient方法追踪ChannelInitializer设置,最后在TransportContext的initializePipeline方法中可以看到具体的Handler的配置:

channel.pipeline()
        .addLast("encoder", encoder)  
        .addLast(TransportFrameDecoder.HANDLER_NAME, NettyUtils.createFrameDecoder())  
        .addLast("decoder", decoder)
        .addLast("idleStateHandler", new IdleStateHandler(0, 0, conf.connectionTimeoutMs() / 1000))
        .addLast("handler", channelHandler);

此处得到的handler链为:

MessageEncoder-->TransportFrameDecoder-->MessageDecoder-->IdleStateHandler-->TransportChannelHandler

MessageEncoder:负责将消息转换为netty框架中的ByteBuf
MessageDecoder:负责网络传输的的ByteBuf转换为具体的消息
TransportFrameDecoder:负责接收网络传输的ByteBuf,解析为一个指定大小的ByteBuf交予MessageDecoder,或者交给StreamInterceptor处理
IdleStateHandler:心跳检测
TransportChannelHandler:负责消息的具体处理



发送端发送消息的流程:
  1. 通过TransportClient的实例发送RequestMessage消息
  2. MessageEncoder把消息转换为ByteBuf
    所有RequestMessage的子类都继承了AbstractMessage,而AbstractMessage有一个叫body的filed,该字段在RpcRequest中被用来存储具体的请求内容(不止RpcRequest)。当body为空时该消息直接转换为ByteBuf;不为null时,MessageEncoder将消息转换为MessageWithHeader,MessageWithHeader继承了AbstractReferenceCounted ,实现了FileRegion ,最后消息仍会转换为ByteBuf。注意:MessageWithHeader提供了发送文件的能力。

    MessageWithHeader类:
    class MessageWithHeader extends AbstractReferenceCounted implements FileRegion

  3. ByteBuf被发送到网络(ByteBuf中包含这个消息的总长度、字段长度、具体内容等信息)



接收端接收消息并响应:
  1. TransportFrameDecoder负责拼接一个RequestMessage所需的完整ByteBuf
  2. MessageDecoder将消息解析为一个RequestMessage消息
  3. TransportChannelHandler将消息交给TransportRequestHandler具体处理
  4. TransportRequestHandler将ResponseMessage消息传递给MessageEncoder
  5. MessageEncoder把消息转换为ByteBuf(同上)



发送端接收响应消息:
  1. TransportFrameDecoder负责拼接一个消息所需的完整ByteBuf,如果是StreamResponse消息并且body是一个FileRegion,那么先拼接这个消息的ByteBuf(注意:StreamResponse消息最终传输到网络上时本身不包含FileRegion的ByteBuf)
  2. MessageDecoder将消息解析为一个ResponseMessage消息
  3. TransportChannelHandler将消息交给TransportResponseHandler具体处理
  4. 如果StreamResponse是一个包含FileRegion的消息,TransportResponseHandler在Channel Pipeline中添加一个handler:StreamInterceptor。TransportFrameDecoder将使用StreamInterceptor处理后续的FileRegion的ByteBuf。
;