【赵渝强老师】Scala编程语言

Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机）之上，并兼容现有的Java程序。因此，要安装Scala环境之前，首先需要安装Java的JDK。学习Scala编程语言，将为后续学习Spark和Flink奠定基础。

点击这里查看视频讲解：【赵渝强老师】Scala编程语言

下面的代码展示了在Spark中如何使用Scala开发一个WordCount程序。

package demoimport org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.log4j.Logger
import org.apache.log4j.Levelobject WordCountDemo {def main(args: Array[String]): Unit = {Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)//本地模式//val conf = new SparkConf().setAppName("WordCountDemo").setMaster("local")//集群模式val conf = new SparkConf().setAppName("WordCountDemo")//创建SparkContextval sc = new SparkContext(conf)val result = sc.textFile("hdfs://bigdata111:9000/input/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)//输出到屏幕result.collect.foreach(println)//输出到HDFSresult.saveAsTextFile("hdfs://bigdata111:9000/output/spark/wc")sc.stop}
}

​

在Flink中也可以使用Scala编程语言，下面的代码也将在Flink中执行一个WordCount程序。

package demoimport org.apache.flink.api.scala._object WordCount {def main(args: Array[String]) {val env = ExecutionEnvironment.getExecutionEnvironmentval text = env.fromElements("I love Beijing","I love China","Beijing is the capital of China")val counts = text.flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1)counts.print()}
}