spark内核RDD的count操作是什么

这篇文章主要介绍“spark内核RDD的count操作是什么”，在日常操作中，相信很多人在spark内核RDD的count操作是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”spark内核RDD的count操作是什么”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

丰都ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联公司的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18982081108（备注：SSL证书合作）期待与您的合作！

RDD源码的count方法：

从上面代码可以看出来，count方法触发SparkContext的runJob方法的调用：

进一步跟踪runJob(rdd, (context: TaskContext, iter: Iterator[T]) => func(iter), partitions, allowLocal)方法：

2、clean(func)：

代码分析：

3.1、进入submitJob(rdd, func, partitions, callSite, allowLocal, resultHandler, properties)：

上面代码分析：

3.1.1、 进入new JobWaiter(this, jobId, partitions.size, resultHandler)方法

我们可以看出来，是给自己发消息的

3.1.3、进入  dagScheduler.handleJobSubmitted(jobId, rdd, func, partitions, allowLocal, callSite,listener, properties)方法

首先构建finalStage，然后又一个getMissingParentsStages方法，可以发现运行有本地运行和集群运行两种模式，本地运行主要用于本地实验和调试：

3.1.3.1、进入  finalStage = newStage(finalRDD, partitions.size, None, jobId, callSite)方法：

3.1.3.2、进入 runLocally(job)方法：

3.1.3.3.2、进入  getMissingParentStages(stage).sortBy(_.id) 方法：

跟进getShuffleMapState方法：

3.1.3.3.3、进入submitMissingTasks(stage, jobId.get) 方法：

到此，关于“spark内核RDD的count操作是什么”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！

网站栏目：spark内核RDD的count操作是什么
URL链接：http://mswzjz.cn/article/gijgcs.html