Spark运行架构 2022-03-29 spark 约 2324 字 预计阅读 5 分钟 运行架构 上图是在spark官方上找的图,这里我们只说上面几个块块是做什么用的。 Driver Program,为Spark的驱动程序,其实就是一个spar 阅读更多
Mapreduce流程 2022-03-23 mapreduce 约 617 字 预计阅读 2 分钟 执行过程 假设mapreduce任务有M个Map任务和R个Reduce任务。 Map阶段: input: 在进行map计算前,mapreduce会根据数据的分 阅读更多
简单了解一下列式存储 2022-03-22 数据存储 约 1421 字 预计阅读 3 分钟 就当抄书了,还是不好好抄书的那种。 什么是列式存储? 在我们经常接触的OLTP数据库(如Mysql、Mongodb),大多是使用行结构进行存储数 阅读更多
随便写写 2022-02-03 瞎扯 约 264 字 预计阅读 1 分钟 11天的春节小假期快要结束了,想起来"坚持写东西"这个事情,那就搞个年终总结吧。 来到杭州一年了,买了房,装了修,21年年 阅读更多
Elasticsearch的查询原理(下) 2021-11-06 Elasticsearch 约 1457 字 预计阅读 3 分钟 多分片查询 es查询分为两个阶段"query"和"fetch",称为"query then fetch 阅读更多