Spark运行架构

运行架构 上图是在spark官方上找的图,这里我们只说上面几个块块是做什么用的。 Driver Program,为Spark的驱动程序,其实就是一个spar

Mapreduce流程

执行过程 假设mapreduce任务有M个Map任务和R个Reduce任务。 Map阶段: input: 在进行map计算前,mapreduce会根据数据的分

随便写写

11天的春节小假期快要结束了,想起来"坚持写东西"这个事情,那就搞个年终总结吧。 来到杭州一年了,买了房,装了修,21年年