最赞回答 / 业余奶茶品鉴师
关闭管线。将已经发送到管道中,但是还没有确认的数据重新写回到缓冲区,保证数据不会丢失。所有的namenode重新分配一个版本号重新选举一个主datanode计算所有datanode中最小的数据块,重新分配重建管线,重新写入宕掉的datanode恢复后由于版本号不同会被剔除掉。写完文件,namenode发现副本数量不够,会在其他数据节点上再创建一个新的副本。
2020-05-02
某知名气象公司大数据中心研发工程师,主攻大数据方向,熟悉Java,Hadoop,Spark技术,Python的忠实爱好者!对于以Hadoop生态圈为基础的大数据应用开发有比较多的经验。
2020-03-20
某知名气象公司大数据中心研发工程师,主攻大数据方向,熟悉Java,Hadoop,Spark技术,Python的忠实爱好者!对于以Hadoop生态圈为基础的大数据应用开发有比较多的经验。
2020-03-18