如何压缩图片
步骤/目录:
1.需求介绍
2.ffmpeg
3.tinypng
4.squoosh
(1)Node.js
(2)克隆仓库并安装运行
a.本地运行网页服务器
b.运行桌面版
c.squoosh-cli
(3)squoosh的使用
5.修改vimg_processor_multi
步骤/目录:
1.需求介绍
2.ffmpeg
3.tinypng
4.squoosh
(1)Node.js
(2)克隆仓库并安装运行
a.本地运行网页服务器
b.运行桌面版
c.squoosh-cli
(3)squoosh的使用
5.修改vimg_processor_multi
步骤/目录:
1.需求介绍
2.电影压缩
3.本地视频入库
4.ffmpeg加速
(1)显卡加速
(2)多电脑加速
步骤/目录:
1.需求介绍
2.准备工作
(0)安装python库
(1)创建scrapy项目
(2)创建并运行mysql
(3)创建并运行redis
(4)创建python自建库
a.log.py
b.redis.py
c.mysql.py
d.interaction.py
e.torrent_parser.py
f.其他
3.scrapy项目的修改
(1)items.py
(2)middlewares.py
(3)pipelines.py
(4)settings.py
(5)爬虫
4.使用说明
步骤/目录:
1.Redis简介与安装
2.redis的数据结构
(1)string
(2)list
(3)set
(4)hash
(5)zset
(6)HLL
3.redis的一些命令
4.redis事务
5.TTL(time to live)
6.排序
7.发布/订阅
8.管道
9.redis GEO
10.其他
本文较长,属于系统性总结,可作为使用手册查阅。
本文较长,属于系统性总结,可作为使用手册查阅。
步骤/目录:
1.介绍
(1)sitemap
(2)robots.txt
2.使用scrapy生成sitemap
步骤/目录:
1.settings的指定方法
2.setting中的常用设置与默认值
(1)爬虫效率相关
(2)字典类设置
(3)log相关
(4)其他的重要设置
(5)其他的不重要设置
步骤/目录:
1.运行mysql数据库与准备工作
2.自建库
3.创建、修改、运行scrapy项目
(1)其他配置
(2)爬虫配置
a.a2u.py
b.clarketm.py
c.cool_proxy.py
d.free_proxy_list.py
e.ip3366.py
f.ipaddress.py
g.jiangxianli.py
h.kuaidaili.py
i.pubproxy.py
j.rmccurdy.py
k.sunny9577.py
l.TheSpeedX.py
(3)运行爬虫
4.验证ip
5.日常使用
步骤/目录:
1.应用场景与scrapy架构
2.安装scrapy与创建项目
3.使用scrapy爬取http://www.ip3366.net/free/
(1)创建项目与修改框架
(2)自建库文件的内容
(3)运行爬虫
步骤/目录:
1.应用场景
2.准备工作
3.在个人库中添加selenium相关代码
4.selenium个人库使用范例
步骤/目录:
1.需求分析
2.mysql建表
3.网页请求分析
4.爬虫编写
(0)安装所需模块
(1)mysql存取
(2)爬虫主体编写
(3)其他爬虫补充
(4)实际运行
(5)检测爬取的ip
5.总结与改进
步骤/目录:
1.HTML简介
2.HTML的一般格式
3.HTML的各种标签
(0)常见的属性
(1)标题与段落
(2)文本格式
(3)网页与图像
(4)头部
(5)表格及列表
(6)区块元素
(7)表单与输入
(8)脚本
(9)iframe框架
4.python解析HTML
(1)bs4库
a.找到单个标签
b.找到多个标签
c.其他find系列的方法
d.标签的层级关系
e.取得标签的内容
f.取得标签的属性值
g.取得标签名
h.格式化输出
(2)正则表达式
(3)XPath
a.XPath的基础操作
b.XPath的谓语
c.XPath的通配符
d.XPath的逻辑符号
e.XPath的函数
f.XPath的轴
g.python使用XPath
(4)其他
步骤/目录:
1.需求分析
2.网页请求分析
3.mysql数据库的设置
4.爬虫编写
(0)安装所需模块
(1)日期
(2)爬虫主体编写
(3)mysql存储
(4)正式运行
5.总结与后续
步骤/目录:
1.环境搭建
2.python基础
(1)常量与变量
(2)面向对象
(3)缩进
(4)操作符与表达式
(5)if、for、while
(6)函数
3.python进阶
(1)模块
(2)数据结构
(3)面向对象进阶
(4)文件读取
(5)异常
4.总结