没经验、刚毕业、想提升来起航准没错

20岁,你同样可以月薪过万

人才缺口大 哪里都要人!
2019年最新全国平均工资,IT行业月薪超1.3万元

精选IT热门专业

精选IT行业最热门的专业让你成为企业最需要的人才

fold(num)(func)案例_大数据培训课程助你高薪之路

自主研发培训课程,3个月迭代一次,力求把最新最热门的技术教给你

超燃!95后“薪”人类 掀抢人风潮

培养企业急需的高端人才,高薪就业是我们对所有学员的保证
  • 5262 2019年毕业学员
  • 5157 就业学员
  • 17000 最高月薪
  • 8500 平均就业薪资

fold(num)(func)案例_大数据培训课程

时间:2021-06-10 22:23:14来源:我爱计算机 作者:计算机培训网 已有: 名学员访问该课程

    8 fold(num)(func)案例

    作用:折叠操作,aggregate的简化操作,seqop和combop一样。

    需求:创建一个RDD,将所有元素相加得到结果

    (1)创建一个RDD

    scala> var rdd1 = sc.makeRDD(1 to 10,2)

    rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[88] at makeRDD at <console>:24

    (2)将该RDD所有元素相加得到结果

    scala> rdd.fold(0)(_+_)

    res24: Int = 55

    9 saveAsTextFile(path)

    作用:将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本

    10 saveAsSequenceFile(path) 

    作用:将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。

    11 saveAsObjectFile(path) 

    作用:用于将RDD中的元素序列化成对象,存储到文件中。

    想要了解跟多关于大数据培训课程内容欢迎关注IT培训网大数据培训,IT培训网除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。

关于fold(num)(func)案例_大数据培训课程方面的问题