友链朋友圈

时日曷丧,与汝偕亡

mooder知识共享平台搭建

准备服务器【阿里云】99计划,2核2G,3M固定带宽,40G ESSD Entry盘新老同享服务器,只需99/年,续费同价!点击购买【腾讯云】2核2G,4M带宽 50GB SSD盘 300GB月流量云服务器新老同享 99元/年,续费同价,云服务器3年机/5年机限时抢购,低至 2.5折!点击购买准备源

墨雪飘影

shuffle 算子不一定需要 shuffle

一、Dependency Spark RDD五大属性之一的:依赖列表(Dependency),不仅描述父子 RDD 的血缘关系,更关键描述了父子 RDD 的partitions之间的关系。同时也是判断是否需要划分stage的关键,而stage的划分一定伴随着shuffle spark 的依赖通过抽象

王一川

中秋佳节 | 夜爬嵩山

概括 !!!!!!!!! 先用一些感叹号表达我开心兴奋的心情!! 这次是嵩山夜爬之旅是从郑州出发,我们选择的郑州客运南站(建议提前半个小时到就可以,南站附近真的没什么逛的),坐的晚上七点半的那趟车,25块钱到登封,上车后司机会问你是到登封还是去爬山到嵩山,如果是去嵩山的话需要再加三块钱,也就是一共2

楠笙

三年 Sparker 都不一定知道的算子内幕

一、如何在 mapPartitions 中释放资源 mapPartitions是一种对每个分区进行操作的转换操作,于常用的map操作类似,但它处理的是整个分区而不是单个元素。mapPartitions的应用场景适合处理需要在每个分区内批量处理数据的场景,通常用于优化性能和减少计算开销。例如:减少数据

王一川

第一章认识SQL——SQL的概念

数据库 数据库就是存储数据的一个数据库(废话) 我们现在一般研究的就是关系模型(也就是表)就跟着excel一样的一个表 一列数据叫字段 一行数据叫记录 在一般情况下一条记录是由多个字段组成的,每个记录的所占字符宽度是由你自己定制的所以每条字段的宽度肯定是不一样的但是每一条记录的宽度一般是相同的。 一

逐月星屿