SeimiCrawler v0.3.2 发布，Java爬虫框架

12cy6x2x65

欢迎加入运维网交流群：263444886>>> »  
SeimiCrawler v0.3.2 发布了。更新如下：v0.3.2

• 　　化分布式模式下与redis的连接,增强分布式可靠性
  
• 　　bug fix
  

v0.3.0

• 　　内置支持SeimiAgent，完美解决动态页面渲染抓取问题
  
• 　　修复自动跳转在某些情况存在的bug
  

简介
SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目，非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。

触摸纯白

可以，有时间学学

luwatin

luwatin