SparkCore源码分析之RDD默认分区规则
SparkCore源码分析之RDD默认分区规则
基础概念
RDD
定义
RDD，全称Resilient Distribute Dataset，学名弹性分布式数据集，是Spark框架中的基本数据抽象
特性
- A list of partitions，由一组分区组成
- A function for computing each split，计算切片逻辑
- A list of dependencies on other RDDs，rdd之前的相互依赖
- Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)，可选，对于键值对类型的rdd的分区规则
- Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)，可选，存储每个切片优先(preferred location)位置的列表
