Python,爬虫与深度学习(12)——sitemap与robots.txt
步骤/目录:
1.介绍
(1)sitemap
(2)robots.txt
2.使用scrapy生成sitemap
步骤/目录:
1.介绍
(1)sitemap
(2)robots.txt
2.使用scrapy生成sitemap
步骤/目录:
1.settings的指定方法
2.setting中的常用设置与默认值
(1)爬虫效率相关
(2)字典类设置
(3)log相关
(4)其他的重要设置
(5)其他的不重要设置
步骤/目录:
1.运行mysql数据库与准备工作
2.自建库
3.创建、修改、运行scrapy项目
(1)其他配置
(2)爬虫配置
a.a2u.py
b.clarketm.py
c.cool_proxy.py
d.free_proxy_list.py
e.ip3366.py
f.ipaddress.py
g.jiangxianli.py
h.kuaidaili.py
i.pubproxy.py
j.rmccurdy.py
k.sunny9577.py
l.TheSpeedX.py
(3)运行爬虫
4.验证ip
5.日常使用
步骤/目录:
1.应用场景与scrapy架构
2.安装scrapy与创建项目
3.使用scrapy爬取http://www.ip3366.net/free/
(1)创建项目与修改框架
(2)自建库文件的内容
(3)运行爬虫
步骤/目录:
1.应用场景
2.准备工作
3.在个人库中添加selenium相关代码
4.selenium个人库使用范例
步骤/目录:
1.创建文件夹及添加路径
2.自建库的编写
(1)log.py
(2)mysql.py
(3)spider.py
(4)interaction.py
步骤/目录:
1.需求分析
2.mysql建表
3.网页请求分析
4.爬虫编写
(0)安装所需模块
(1)mysql存取
(2)爬虫主体编写
(3)其他爬虫补充
(4)实际运行
(5)检测爬取的ip
5.总结与改进
步骤/目录:
1.再谈数据库基础概念
2.mysql基础命令
(1)SHOW与USE
(2)HELP
3.检索数据
(1)SELECT
(2)DISTINCT
(3)LIMIT
(4)ORDER BY
(5)WHERE
(6)IN
(7)LIKE与通配符%
(8)正则表达式
4.检索数据的进阶操作
(1)计算字段
(2)数据处理函数
(3)聚集函数
(4)数据分组
(5)子查询
(6)联结表
(7)其他联结概念
(8)组合查询
(9)全文本搜索
5.插入数据
6.更新删除数据
7.创建和操作表
8.视图
9.存储过程及其他
10.数据库维护
11.mysql使用的原则
12.python中使用mysql
步骤/目录:
1.mysql特性与基础概念,及安装
2.进入mysql命令行与基本设置
3.mysql命令行的基础命令
4.增删库、表及注意事项
5.表内数据的基础增删查改
6.LIKE 与模糊查找
步骤/目录:
1.HTML简介
2.HTML的一般格式
3.HTML的各种标签
(0)常见的属性
(1)标题与段落
(2)文本格式
(3)网页与图像
(4)头部
(5)表格及列表
(6)区块元素
(7)表单与输入
(8)脚本
(9)iframe框架
4.python解析HTML
(1)bs4库
a.找到单个标签
b.找到多个标签
c.其他find系列的方法
d.标签的层级关系
e.取得标签的内容
f.取得标签的属性值
g.取得标签名
h.格式化输出
(2)正则表达式
(3)XPath
a.XPath的基础操作
b.XPath的谓语
c.XPath的通配符
d.XPath的逻辑符号
e.XPath的函数
f.XPath的轴
g.python使用XPath
(4)其他
步骤/目录:
1.一般设置
2.快捷键
3.python专用
4.扩展
步骤/目录:
1.需求分析
2.网页请求分析
3.mysql数据库的设置
4.爬虫编写
(0)安装所需模块
(1)日期
(2)爬虫主体编写
(3)mysql存储
(4)正式运行
5.总结与后续
步骤/目录:
1.环境搭建
2.python基础
(1)常量与变量
(2)面向对象
(3)缩进
(4)操作符与表达式
(5)if、for、while
(6)函数
3.python进阶
(1)模块
(2)数据结构
(3)面向对象进阶
(4)文件读取
(5)异常
4.总结
步骤/目录:
1.常用DNS
2.更换DNS
3.添加解析记录
步骤/目录:
0.Pi Dashboard简介
1.LNP部署Pi Dashboard
步骤/目录:
1.UPS简介
2.ViewPower的使用
(1)单台UPS、单台电脑关机
(2)单台UPS、多台电脑关机
(3)短信/邮件报警
(4)UPS定时开关机
(5)网络唤醒设置
附录:使用一台主机关闭局域网中的其它电脑
步骤/目录:
第零章 小知识
第一章 口腔检查
第二章 牙发育异常和着色牙
第三章 牙外伤
第四章 牙慢性损伤
第五章 牙本质过敏症
第六章 牙体硬组织非龋性疾病的治疗
步骤/目录:
1.背景介绍
2.方法一:wiki镜像站
3.方法二:离线wiki
4.方法三:香港服务器+V2Ray
(0)V2Ray介绍
(1)服务器购买与初始化
(2)准备工作
(3)用docker安装V2Ray
(4)安装V2Ray客户端及设置
(5)V2Ray的高级操作
a.网页伪装
b.服务器备份
c.VLESS + TCP + TLS + WS
d.双服务器
(6)服务器被封禁的表现
5.方法四:购买服务
附录:不使用docker,直接安装V2Ray(不推荐)
步骤/目录:
第零章 小知识
第一章 根管治疗术
第二章 髓腔应用解剖与开髓
第三章 根管预备与消毒
第四章 根管充填
第五章 显微根管治疗与根管外科
第六章 根管治疗并发症及根管再治疗
第七章 根管治疗后的牙体修复
步骤/目录:
0.准备工作
(1)购买并设置树莓派
(2)购买并设置服务器
(3)准备软件
1.方法一:docker + openmrs
2.方法二:gnuhealth 的树莓派系统
3.方法三:gnuhealth 直接安装(无法使用)
4.了解:新致“开源”医疗
附录:通过公网访问EMR或HIS