rdd的特点

来源:MINISO栏目:生活时间:2024-05-21 19:46:24

rdd的特点如下:

1、RDD是Spark提供的核心抽象,全称为ResillientDistributedDataset,即弹性分布式数据集。

2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。

3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也可以通过应用程序中的集合来创建。

4、RDD最重要的特性就是,提供了容错性,可以自动从节点失败中恢复过来。即如果某个节点上的RDDpartition,因为节点故障,导致数据丢了,那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。

5、RDD的数据默认情况下存放在内存中的,但是在内存资源不足时,Spark会自动将RDD数据写入磁盘。

免责声明:该内容由用户自行上传分享到《 秘密研究社》,仅供个人学习交流分享。本站无法对用户上传的所有内容(包括且不仅限于图文音视频)进行充分的监测,且有部分图文资源转载于网络,主要用于方便广大网友在线查询参考学习,不提供任何商业化服务。若侵犯了您的合法权益,请立即通知我们( 管理员邮箱:[email protected]),情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!!