步骤/目录：
1.需求介绍
2.准备工作
（0）安装python库
（1）创建scrapy项目
（2）创建并运行mysql
（3）创建并运行redis
（4）创建python自建库
a.log.py
b.redis.py
c.mysql.py
d.interaction.py
e.torrent_parser.py
f.其他
3.scrapy项目的修改
（1）items.py
（2）middlewares.py
（3）pipelines.py
（4）settings.py
（5）爬虫
4.使用说明本文较长，属于系统性总结，可作为使用手册查阅。
本文较长，属于系统性总结，可作为使用手册查阅。
步骤/目录：
1.介绍
（1）sitemap
（2）robots.txt
2.使用scrapy生成sitemap步骤/目录：
1.settings的指定方法
2.setting中的常用设置与默认值
（1）爬虫效率相关
（2）字典类设置
（3）log相关
（4）其他的重要设置
（5）其他的不重要设置步骤/目录：
1.运行mysql数据库与准备工作
2.自建库
3.创建、修改、运行scrapy项目
（1）其他配置
（2）爬虫配置
a.a2u.py
b.clarketm.py
c.cool_proxy.py
d.free_proxy_list.py
e.ip3366.py
f.ipaddress.py
g.jiangxianli.py
h.kuaidaili.py
i.pubproxy.py
j.rmccurdy.py
k.sunny9577.py
l.TheSpeedX.py
（3）运行爬虫
4.验证ip
5.日常使用步骤/目录：
1.应用场景与scrapy架构
2.安装scrapy与创建项目
3.使用scrapy爬取http://www.ip3366.net/free/
（1）创建项目与修改框架
（2）自建库文件的内容
（3）运行爬虫