「 SPARK 」 September 28, 2018
Words count 3k Reading time 3 mins.
官网地址：http://spark.apache.org/docs/latest/monitoring.html
要想开启spark的HistoryServer只...
Read article
「 SPARK 」 August 29, 2018
Words count 9.1k Reading time 8 mins.
官网说明：http://spark.apache.org/docs/latest/submitting-applications.html
目前spark支持的运行模式主要有Local、Standalone、Mesos、YARN、Kubernetes。这里主要记录spark在Local、Standalone、YARN环境下运行。
假如目前我们有一个简单的wordcount应用，将分别在以下环境中运行。
wordcount.py，文件路径：/Users/shirukai/Desktop/HollySys...
Read article「 SPARK 」 August 28, 2018
Words count 16k Reading time 15 mins.
RDD操作有两种：Transformation和Action
Transformation：从一个已有的RDD中创建一个新的RDD
Action：执行计算，返回一个结果
| Transformation | Meaning |
|---|---|
| map(func) | 遍历已有的RDD中的每个元素，并应用func函数，生成新的RDD返回。 |
| filter(func) | 应用func函数过滤已有RDD的每个元素，生成新的RDD返回。 |
| flatMap(func) | 与map类似... |
