作为思索的人而行动,
作为行动的人而思索


这里只有我的呓语 ... ...



YARN 的设计背景

Apache Hadoop YARN 是 Hadoop 的统一资源管理和调度平台,让各种不同的计算框架(如:MapReduce、 Spark 等)能通过它共享一个分布式集群 …




这里指的是 Hadoop 里的 MapReduce 。




Apache Spark 的 shuffle 描述的是数据从 map side task 输出到 reduce side task 输入的这段过程。




Spark 3 后主流的流处理 API 。



知识共享许可协议 本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可,欢迎转载、演绎,
但是必须保留本文的署名 Charles(包含链接),且不得用于商业目的。