pyspark 解析thrift lzo
    
        PySpark 解析Thrift Lzo 类型数据
包依赖 libs
elephant-bird-core-4.6.jar
elephant-bird-hadoop-compat-4.6.jar
libthrift-0.x.x.jar (x.x 换成你的版本)
python依赖 pkg 
依赖文件
gen_py thrift 生成(如果有注释中文需要在生成代码头部加上 #-*- coding: utf-8 -* )
six.py  (Copy From python site-package)
thrift   (Copy From python site-package)
将python依赖打成zip 方便加载 zip -r ../pkg.zip .
    
        
            阅读全文…