James 发表于 2016-10-26 05:19:35

Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架

欢迎加入运维网交流群:263444886  http://onexin.iyunv.com/source/plugin/onexin_bigdata/https://my.oschina.net/img/hot3.png
  Gecco 1.2.2 发布了,DynamicGecco实现了爬虫规则的热部署,是首个支持动态加载的java爬虫框架。
  
  DynamicGecco的目的是在不定义SpiderBean的情况下实现爬取规则的运行时配置。其实现原理是采用字节码编程,动态生成SpiderBean,而且通过自定义的GeccoClassLoader实现了抓取规则的热部署。使用方法可以参考《教您使用DynamicGecco抓取JD全部商品信息》这个DEMO:http://www.geccocrawler.com/dynamic-demo-jd/
  其他优化:修复了UniqueSpiderScheduler的排序错误的bug
页: [1]
查看完整版本: Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架