pyspark实现csv文件转parquet格式（最优解决方案）

最佳解决方案
自动判断各个csv文件字段的数据类型生成parquet文件（inferSchema=‘True’）

sc.stop()
from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("./csv2parquet.csv")
#df.printSchema()
df.write.parquet('./input-parquet135')
print("运行成功")
sc.stop()

另一种解决方案
需要自己判断数据的格式然后自定义schema

sc.stop()
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
def parse(line):
    items = line.split(",")
    return (items[0], items[1], items[2])
if __name__ == "__main__":
    sc = SparkContext(appName="CSV2Parquet")
    sqlContext = SQLContext(sc)
    schema = StructType([
        StructField("identity_line_item_id", StringType(), True),
        StructField("identity_time_interval", StringType(), True),
        StructField("bill_invoice_id",IntegerType(), True)])
    rdd = sc.textFile("./csv2parquet.csv").map(parse)
    df = sqlContext.createDataFrame(rdd, schema)
    df.write.parquet('./input-parquet133')
    print("运行成功")

---

---

---

参考资料：
pyspark实现csv文件转parquet格式（最优解决方案）