路由器与DDNS
步骤/目录:
1.DDNS简介
2.获取域名
3.配置路由器
4.配置端口转发
5.配置光猫
6.DDNS的安全性
步骤/目录:
1.DDNS简介
2.获取域名
3.配置路由器
4.配置端口转发
5.配置光猫
6.DDNS的安全性
步骤/目录:
1.Redis简介与安装
2.redis的数据结构
(1)string
(2)list
(3)set
(4)hash
(5)zset
(6)HLL
3.redis的一些命令
4.redis事务
5.TTL(time to live)
6.排序
7.发布/订阅
8.管道
9.redis GEO
10.其他
本文较长,属于系统性总结,可作为使用手册查阅。
本文较长,属于系统性总结,可作为使用手册查阅。
步骤/目录:
1.介绍
(1)sitemap
(2)robots.txt
2.使用scrapy生成sitemap
步骤/目录:
1.settings的指定方法
2.setting中的常用设置与默认值
(1)爬虫效率相关
(2)字典类设置
(3)log相关
(4)其他的重要设置
(5)其他的不重要设置
步骤/目录:
1.运行mysql数据库与准备工作
2.自建库
3.创建、修改、运行scrapy项目
(1)其他配置
(2)爬虫配置
a.a2u.py
b.clarketm.py
c.cool_proxy.py
d.free_proxy_list.py
e.ip3366.py
f.ipaddress.py
g.jiangxianli.py
h.kuaidaili.py
i.pubproxy.py
j.rmccurdy.py
k.sunny9577.py
l.TheSpeedX.py
(3)运行爬虫
4.验证ip
5.日常使用
步骤/目录:
1.应用场景与scrapy架构
2.安装scrapy与创建项目
3.使用scrapy爬取http://www.ip3366.net/free/
(1)创建项目与修改框架
(2)自建库文件的内容
(3)运行爬虫
步骤/目录:
1.应用场景
2.准备工作
3.在个人库中添加selenium相关代码
4.selenium个人库使用范例
步骤/目录:
1.创建文件夹及添加路径
2.自建库的编写
(1)log.py
(2)mysql.py
(3)spider.py
(4)interaction.py
步骤/目录:
1.需求分析
2.mysql建表
3.网页请求分析
4.爬虫编写
(0)安装所需模块
(1)mysql存取
(2)爬虫主体编写
(3)其他爬虫补充
(4)实际运行
(5)检测爬取的ip
5.总结与改进
步骤/目录:
1.再谈数据库基础概念
2.mysql基础命令
(1)SHOW与USE
(2)HELP
3.检索数据
(1)SELECT
(2)DISTINCT
(3)LIMIT
(4)ORDER BY
(5)WHERE
(6)IN
(7)LIKE与通配符%
(8)正则表达式
4.检索数据的进阶操作
(1)计算字段
(2)数据处理函数
(3)聚集函数
(4)数据分组
(5)子查询
(6)联结表
(7)其他联结概念
(8)组合查询
(9)全文本搜索
5.插入数据
6.更新删除数据
7.创建和操作表
8.视图
9.存储过程及其他
10.数据库维护
11.mysql使用的原则
12.python中使用mysql
步骤/目录:
1.mysql特性与基础概念,及安装
2.进入mysql命令行与基本设置
3.mysql命令行的基础命令
4.增删库、表及注意事项
5.表内数据的基础增删查改
6.LIKE 与模糊查找
步骤/目录:
1.HTML简介
2.HTML的一般格式
3.HTML的各种标签
(0)常见的属性
(1)标题与段落
(2)文本格式
(3)网页与图像
(4)头部
(5)表格及列表
(6)区块元素
(7)表单与输入
(8)脚本
(9)iframe框架
4.python解析HTML
(1)bs4库
a.找到单个标签
b.找到多个标签
c.其他find系列的方法
d.标签的层级关系
e.取得标签的内容
f.取得标签的属性值
g.取得标签名
h.格式化输出
(2)正则表达式
(3)XPath
a.XPath的基础操作
b.XPath的谓语
c.XPath的通配符
d.XPath的逻辑符号
e.XPath的函数
f.XPath的轴
g.python使用XPath
(4)其他