HTTP和HTTPS

HTTP：超文本传输协议。

作用是把超文本从网络传输到本地浏览器，能够保证高效而准确地传输超文本文档。

HTTPS：是以安全为目标的HTTP通道，简单讲就是HTTP的安全版，在HTTP下加入SSL层，简称HTTPS。

HTTPS的安全基础是SSL，因此通过该协议传输的都是结果SSL加密的。

SSL主要作用有以下两种：

• 建立一个信息安全通道，保证数据传输的安全。
• 确认网站的安全性。凡是使用了HTTPS协议的网站，都可以通过浏览器地址栏的锁头标志来查看网站认证之后的真实信息。此外还可以通过CA机构颁发的安全签章来查询。

3. HTTP请求过程

1.对www.baidu.com这个网址进行DNS域名解析，得到对应的IP地址

2.根据这个IP，找到对应的服务器，发起TCP的三次握手

3.建立TCP连接后发起HTTP请求

4.服务器响应HTTP请求，浏览器得到html代码

5.浏览器解析html代码，并请求html代码中的资源（如js、css图片等）（先得到html代码，才能去找这些资源）

6.浏览器对页面进行渲染呈现给用户

访问百度，快捷键F12，打开浏览器的开发者工具（没有则使用F5进行刷新）：

各列含义：

第一列 Name：请求的名称。一般会用URL的最后一部分内容作为名称。

第二列 Status：响应的状态码。这里显示为200，表达响应是正常的。通过状态码，我们可以判断发送请求之后是否得到正常的响应。

第三列 Type：请求的文档类型。这里为document，代表我们这次请求的是一个HTML文档，内容是一些HTML代码。

第四列 Initiator：请求源。用来标记请求是由哪个对象或进程发起的。

第五列 Size：从服务器下载的文件或请求的资源大小，如果资源是从缓存中取得的，则该列会显示from cache。

第六列 Time：从发起请求的到获取响应所花的总时间。

第七列 Waterfall：网络请求的可视化瀑布流。

单击第一列Name的第一行www.baidu.com，可得到更详细的信息：

General部分：

Request URL：为请求的URL

Request Method：为请求的方法

Status Code：为响应状态码

Remote Addres：远程服务器的地址和端口

Referrer Policy：为Referrer判别策略

Response Headers：响应头

包含服务器的类型、文档类型、日期等信息，浏览器在接收到响应后，会对其进行解析，进而呈现网页的内容。

Request Headers：请求头

包含请求信息，如浏览器标识，Cookie、Host等信息。服务器会根据请求头的信息判断请求是否合法，进而做出对应的响应。

4. 请求

请求，英文名为Request

由客户端发往服务器，分为四个部分：

• 请求方法（Request Method）
• 请求的网址（Request URL）
• 请求头（Request Headers）
• 请求体（Request Body）

请求方法：

请求方法，用于标识请求客户端请求服务端的方式，常见的请求方式有两种：GET和POST。

• GET请求 示例：百度搜索Python就是一个GET请求，链接为https://www.baidu.com/s?wd=Python，其中URL中包含了请求的query信息，这里的参数wd表示要搜寻的关键字。
• POST请求 示例：POST请求大多在提交表单时发起。例如，对于一个登录表单，输入用户名和密码后，单击“登录”按钮，这时通常会发起一个POST请求，其数据通常以表单的形式传输，而不会体现在URL中。

GET和POST请求方法的区别：

• GET请求中的参数包含在URL里面，数据可以在URL中看到；而POST请求的URL不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中。
• GET请求提交的数据最多只有1024字节，POST则没有限制。

登录时一般需要用户名和密码，其中密码是敏感信息，如果使用GET请求，则会暴露在URL里面，所以这时候使用POST方式发送。

上传文件时，由于文件内容比较大，因此也可以使用POST方式。

其它请求方法：

请求网址：

请求的网址，它可以唯一确定客户端想请求的资源。

请求头：

请求头，用于说明服务器要使用的附加信息，比较重要的信息要Cookit，Referer，User-Agent等。

常用请求头信息：

• Accept：请求报头域，用于指定客户端可接收哪些类型的信息。
• Accept-Language：用于指定客户端可接收的语言类型。
• Accept-Encoding：用于指定客户端可接收的内容编码。
• Host：用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。
• Cookit：常用复数形式Cookies，这是网站为了辨别用户，进行会话跟踪而存储在用户本地的数据。它主要功能是维持当前访问会话。
• Referer：用于标识请求是从哪个页面发过来的，服务器可以拿到这一信息并做相应的处理，如做来源统计、防盗链处理等。
• User-Agent：简称UA，这是一个特殊的字符串头，可以使服务器识别客户端使用的系统及版本、浏览器及版本等信息。做爬虫时如果加上此信息，可以伪装为浏览器；如果不加，可能会被识别出来。
• Content-Type：也叫互联网媒体类型或者MIME类型，在HTTP协议消息头中，它用来表示请求中的媒体类型信息。例如：test/html代表HTML格式，image/gif代表GIF图片，application/json代表JSON类型。

请求头是请求的主要组成部分，在写爬虫时，通常都需要设定请求头。

请求体：

请求体，一般承载的内容是POST请求中的表单数据，对于GET请求，请求体为空。

例如，登录Github时捕获到的请求和响应

登录之前需先填写用户名和密码信息，登录是会以表单数据的形式提交给服务器，此时需要注意的是Request Headers中指定Content-Type设置为application/json来提交JSON数据，或者设置为multipart/form-data来上传文件。

Content-Type和POST提交数据方式的关系：

在爬虫中，构造POST请求需要使用正确的Content-Type，并了解设置各种请求库的各个参数时使用的都是哪种，如若不然可能导致POST提交后无法得到正常的响应。

5. 响应

响应，即Response，有服务器返回客户端，可以分为三个部分：

响应状态码、响应头、响应体

• 响应状态码响应状态码，表示服务器的响应状态，如200，代码服务器表示正常响应

常见的错误状态码及错误原因：

• 响应头响应头，包含服务器对请求的应答信息，如Conntent-Type，Server，Set-Cookit等。

常用响应头信息：

响应体：

响应的正文数据都存在于响应体中，爬虫请求网页时，要解析的内容就是响应体。

6. HTTP 2.0

通过支持完整的请求与响应复用来减少延迟，并通过有效压缩HTTP请求头字段的方式将协议开销降至最低，同时之家对请求优先级和服务其推送的支持。

• 二进程分帧层HTTP 2.0将文本格式修改成二进制格式，使得解析更高效。同时将请求和响应数据切割为更小的帧，并采用二进制编码。
• 多路复用HTTP 2.0不再以TCP连接的方式实现多路并行，客户端和服务器可以将HTTP消息分解为互不依赖的帧，然后交错发送，最后在另一端呈现组装起来。
• 控制流控制流是一种阻止发送方向接收方发送大量数据的机制，以免超出后者的需求和处理能力。
• 服务端推送HTTP 2.0，服务器可以对一个客户端请求发送多个响应。可以发送额外资源，无须客户端明确的请求。如果明确有一些资源是客户度需求的，可以提前发送资源，这样可以减少延迟时间。