Scrapy环境配置

1.由于pycharm里面没有scrapy模板。所以只能通过scrapy命令来创建项目。先安装scrapy。

sudo pip3 install scrapy

2.创建工程，先cd到存放目录，然后

scrapy startproject YourProjectName

3.创建工程后，使用pycharm打开工程，配置环境，安装scrapy

4.使用默认模板创建爬虫，需要cd到工程目录

scrapy genspider domain.com xxx.domain.com