Python更快的解析JSON大文件

sol229

　　今天用python的simplejson库解析一个 >200MB 的JSON文件，发现一次decode/encode都得要 >10s，这个实在太慢了，有没有更快的库了？
　　先给出我的简单测试结果
　　

• 　　json大小：245MB
  
• 　　测试方法：read文件内容，然后一次decode, 一次encode
  

解释器simplejsonjsonujsonpypy40s多10s无cpython12s多17s多10s多　　不成熟的结论： pypy+json最快
　　方法一：pypy+json
　　
　　python自带的JSON库是用纯python代码实现的，而pypy对纯python代码的加速效果比较好。至于为什么，大家可以去google吧，很多文章解释的很好。
　　
　　方法二：UItraJson
　　
　　我首先想到的用C库来做JSON的解析，原因你懂的，而C语言有个JSON库叫CJSON，于是用python+cjson在google里找到了UltraJson
　　UltraJson是作者用C语言实现的JSON库，实际测试的效果是，整个encode的效率提升了2倍多。
　　
　　使用方法
　　安装：pip instal ujson
    >>> import ujson　　>>> ujson.dumps([{"key": "value"}, 81, True])
　　'[{"key":"value"},81,true]'
　　>>> ujson.loads("""[{"key": "value"}, 81, true]""")
　　[{u'key': u'value'}, 81, True]
　　并不是所欲情况下都适合
　　根据下面的BenchMark，在double数组的情况下，yajl的encode速度是比UltraJson的，所以，如果你的JSON文件较小的话，其实无所谓哪个库，如果是像我这样的大JSON文件，可以根据下面的表选择合适的JSON库。
　　BenchMark
　　下面是作者给出的benchmark：表格中的数字是每秒的调用次数，也就是说，数字越大，表示效率越高。
Versions:

• 　　CPython 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2]
  
• 　　blist : 1.3.6
  
• 　　simplejson: 3.8.1
  
• 　　ujson : 1.34 (0c52200eb4e2d97e548a765d5f089858c41967b0)
  
• 　　yajl : 0.3.5
  

ujsonyajlsimplejsonjsonArray with 256 doublesencode3508.1957423232.383309.09decode25103.3711257.8311696.2611871.04Array with 256 UTF-8 stringsencode3189.712717.142006.382961.72decode1354.94630.54356.35344.05Array with 256 stringsencode18127.4712537.3912541.2320001decode23264.712788.8525427.889352.36Medium complex objectencode10519.385021.293686.864643.47decode9676.535326.798515.773017.3Array with 256 True valuesencode105998.03102067.2844758.5160424.8decode163869.9678341.57110859.36115013.9Array with 256 dict{string, int} pairsencode13471.3212109.093876.48833.92decode16890.638946.0712218.553350.72Dict with 256 arrays with 256 dict{string,  int} pairsencode50.2546.4513.8229.28decode33.2722.127.9110.43Dict with 256 arrays with 256 dict{string,  int} pairs, outputting sorted keysencode27.197.752.39Complex objectencode577.98387.81470.02decode496.73234.44151145.16Versions:

• 　　CPython 3.4.3 (default, Oct 14 2015, 20:28:29) [GCC 4.8.4]
  
• 　　blist : 1.3.6
  
• 　　simplejson: 3.8.1
  
• 　　ujson : 1.34 (0c52200eb4e2d97e548a765d5f089858c41967b0)
  
• 　　yajl : 0.3.5
  

ujsonyajlsimplejsonjsonArray with 256 doublesencode3477.155732.243016.763071.99decode23625.29731.459501.579901.92Array with 256 UTF-8 stringsencode1995.892151.611771.981817.2decode1425.04625.38327.14305.95Array with 256 stringsencode25461.7512188.613054.7614429.81decode21981.3117014.223869.4822483.58Medium complex objectencode10821.464837.043114.044254.46decode7887.775126.674934.66204.97Array with 256 True valuesencode100452.994639.446657.6360358.63decode148312.775485.988434.91116395.5Array with 256 dict{string, int} pairsencode11698.138886.963043.696302.35decode10686.47061.775646.87702.29Dict with 256 arrays with 256 dict{string,  int} pairsencode44.2634.4310.421.97decode28.4623.9518.722.83Dict with 256 arrays with 256 dict{string,  int} pairs, outputting sorted keysencode33.66.9422.34Complex objectencode432.3351.47379.34decode434.4221.97149.57147.79　　结尾
　　通过上面的这些步骤其实就可以解析JSON大文件了，是不是很简单呢?

　　原文链接：https://segmentfault.com/a/1190000010138782

课程推荐
　　
　　Golang 实战班第2期火热报名进行中
　　
　　招生要求：
　　
　　有 Linux 基础，有志于使用 Go 语言做分布式系统编程的人员,想往系统架构师方向发展的同学。BAT 架构师带你一起飞。
　　课程内容：
　　

• 　　Golang入门
  
• 　　Golang程序结构
  
• 　　Golang的基础数据类型
  
• 　　Golang复合数据类型
  
• 　　Golang的函数
  
• 　　Golang的方法
  
• 　　Golang的接口
  
• 　　Golang的协程和Channel
  
• 　　Golang基于共享变量的并发
  
• 　　Golang包和工具
  

　　上课模式：网络直播班    线下面授班
　　咨询报名联系：
　　QQ(1)：979950755    小月
　　QQ(2)：279312229    ada
　　WeChat : 1902433859   小月
　　WeChat : 1251743084   小单
　　开课时间：10月14日（周六）
　　课程大纲：http://51reboot.com/course/go