pyspark 解析thrift lzo
PySpark 解析Thrift Lzo 类型数据
包依赖 libs
elephant-bird-core-4.6.jar
elephant-bird-hadoop-compat-4.6.jar
libthrift-0.x.x.jar (x.x 换成你的版本)
python依赖 pkg
依赖文件
gen_py thrift 生成(如果有注释中文需要在生成代码头部加上 #-*- coding: utf-8 -* )
six.py (Copy From python site-package)
thrift (Copy From python site-package)
将python依赖打成zip 方便加载 zip -r ../pkg.zip .
阅读全文…