在云端

Spark Streaming 整合 Kafka Hadoop Spark 在云端

Spark Streaming 整合 Kafka

一、实验介绍 1.1 实验内容 Kafka是一个分布式的发布-订阅式的消息系统,可以作为 DStream 的高级数据源,本部分以单击统计为例介绍 Spark Streaming 程序从 kafka 中···
Spark Streaming 整合 Flume Spark 在云端

Spark Streaming 整合 Flume

一、实验介绍 1.1 实验内容 Flume 是非常流行的日志采集系统,可以作为 DStream 的高级数据源,本节实验将介绍如何让 Flume 推送消息给 Spark Streaming,然后 Spa···
Spark 处理多种数据源 Spark 在云端

Spark 处理多种数据源

一、实验介绍 1.1 实验内容 Spark SQL 通过 DataFrame 接口可以支持 Parquet、JSON、Hive 等数据源,将 DataFrame 注册为临时视图,可以允许你在数据上运行···
商城