SparkSQL设计及入门，220722，

  DataFrame：分布式数据表：数据 + 表结构

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 spark快的原因之一，都是基于磁盘，

 spark快的原因之一，shuffle过程中，，

 也就是说我们的sparkshuffle是对MR的shuffle进行了优化, 使得spark的shuffle只会实现我们指定的一些功能(分组排序分区中一部分), 所以比MR高效很多?

 ETL数据清洗：不合法数据过滤掉，RDD【Str】转换RDD【Tuple】

70%

 

 

SparkSession中会包含SparkContext对象

User Define Funection

 

 

 

 

 

 

 

read：读取离线的数据

readStream：读取实时数据流的数据

RDD：foreach

DataFrame：show

 

 

 

 

select id, 'id'

id：列名

“id”：常量，值

 

 

 

DateSet特点：支持泛型，支持Schema 

 

 

RDD【Row】

 整形：int，

长整形：long  ==bigint

 

review，，，

preview，，，