蒦嗳伱 发表于 2016-1-2 13:02:14

scrapy

　　在scrapy 项目目录下运行
　　scrapy crawl Test --logfile=test.log -o test.json -t json
　　scrapy shell url
　　test      spider名
　　test.log   日志
　　test.json 输出的item
　　
　　DOWNLOAD_DELAY = 2
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
　　
　　
　　make_requests_from_url
页: [1]
查看完整版本: scrapy