Flink1.7.2 Source、Window数据交互源码分析

  • 时间:
  • 浏览:0
  • 来源:神彩大发快3_彩神大发快3官方

每个partition写入的数据,对应到其他人的window,曾经就实现了,在source端将数据分区,对应的window补救source对应的分区数据

这是有有俩个阻塞的最好的方式 ,读取Source中对应的partition中的数据,调用BarrierTracker.getNextNonBlocked()

record进行序列化,数据长度写进ByteBuffer lengthBuffer,数据写进ByteBuffer dataBuffer;

经调试,按key,hash % 并行度,分配的数据如下

通知Window,有数据产生了,还需用刚刚刚刚刚开始 消费了(补救数据)

getBufferBuilder(targetChannel)通过channel,得到BufferBuilder,本来 得到当前的partition写入数据对象BufferBuilder,随便说说本来 操作ResultPartition.subPartitions