【爬虫】request库

news/2025/2/25 5:33:01

文章目录

  • 发送请求
  • 响应对象
    • 响应数据的方式
    • 中文乱码问题
    • 响应对象的其他属性或方法
  • 发送带参数的请求
    • headers和查询参数

Requests——发送http请求，获取响应数据

首先，请确保：

  • 已安装 Requests
  • Requests 是最新的

让我们从一些简单的示例开始。

发送请求

使用 Requests 发出请求非常简单。

需求：通过requests想百度首页发送请求，获取该页面的源码

运行下面的代码，观察打印出的结果

python">#首先导入Requests模块：
import requests
# 目标url
url = 'https://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
print(response.text)

其他HTTP类型呢：PUT,DELETE,HEAD？这些都是同样的：

python">response = requests.post(url,data = {'key' : 'value'})
response = requests.put(url,data = {'key' : 'value'})
response = requests.delete(url)
response = requests.head(url)
response = requests.options(url)

这一切都很好，但这也只是 Requests 可以做到的开始 ！

响应对象

响应数据的方式

当你使用 requests 库发送一个请求（例如 requests.get() 或 requests.post() 等）时，服务器会返回一个响应。这个响应包含了很多信息，而 requests.text 和 response.content 就是从这个响应中获取数据的常见的两种不同方式。

requests.text：

它是从响应中提取的数据经过解码后的结果，是一个字符串（Unicode 字符串）。这个解码过程通常是根据服务器在 Content-Type 头部信息中提供的字符编码进行的，如果服务器没有明确给出字符编码，requests 库会尝试使用 chardet 库来猜测编码方式，然后将响应数据从字节（bytes）解码为字符串。例如，如果服务器返回的是一个 HTML 页面，你可以直接使用 requests.text 来获取这个页面的文本内容，以便后续使用 BeautifulSoup 或其他文本处理工具进行解析。

response.content：

它是服务器返回的原始字节数据，也就是最原始的响应数据，没有经过任何解码处理。这对于处理二进制数据非常有用，例如当你从服务器下载一个文件（如图像文件、音频文件、视频文件、压缩文件等）时，你需要使用 response.content 来获取这些文件的原始字节，以便将其保存到本地或进行其他二进制处理操作。

requests.text和response.content的区别

对比维度requests.textresponse.content
数据类型解码后的 Unicode 字符串原始字节数据（bytes 类型）
编码处理根据 HTTP 头部字符编码信息（或 chardet 模块猜测）自动解码不进行编码解码，直接返回原始字节
适用场景处理文本数据，如解析 HTML、JSON、XML 等处理二进制数据，如图片、视频、音频、压缩文件等
获取方式直接获取解码后的文本内容获取原始字节内容，需手动解码（若为文本）
应用示例使用 BeautifulSoup 解析 HTML 网页：soup = BeautifulSoup(response.text, ‘html.parser’)保存图片到本地：with open(‘image.png’, ‘wb’) as f: f.write(response.content)

【代码示例】

python">import requests

# 发送请求
response = requests.get('https://example.com')

# 使用 requests.text 获取解码后的文本数据
text_data = response.text
print("Text Data:", text_data[:100])  # 打印前 100 个字符的文本内容

# 使用 response.content 获取原始字节数据
content_data = response.content
print("Content Data:", content_data[:100])  # 打印前 100 个字节的数据

'''运行结果：
Text Data: <!doctype html>
<html>
<head>
    <title>Example Domain</title>

    <meta charset="utf-8" />
    <m
Content Data: b'<!doctype html>\n<html>\n<head>\n    <title>Example Domain</title>\n\n    <meta charset="utf-8" />\n    <m'
'''

中文乱码问题

当你使用 requests 库发送请求并接收到服务器的响应时，response.content 是以字节（bytes）形式存储的数据。如果该数据包含中文字符，而你直接使用 response.content 查看或处理这些数据，可能会出现中文乱码的情况。这是因为你需要将字节数据按照正确的编码方式解码为字符串，这样才能正确显示中文。以下是解决中文乱码问题的具体步骤：

一、检查服务器响应的编码方式

首先，你可以查看服务器响应的 Content-Type 头部信息，其中可能包含了编码信息。你可以通过 response.encoding 或者 response.headers.get('Content-Type') 来获取这些信息。例如：

python">import requests

response = requests.get('https://example.com')
print("服务器响应的编码方式（通过 encoding 属性）:", response.encoding)
print("服务器响应的编码方式（通过 headers）:", response.headers.get('Content-Type'))

'''运行结果：
服务器响应的编码方式（通过 encoding 属性）: ISO-8859-1
服务器响应的编码方式（通过 headers）: text/html
'''

通过上述代码，你可以获取服务器声明的编码方式。然而，有时候服务器可能没有正确声明编码，或者声明的编码与实际的编码不符，这时就需要手动指定编码进行解码。

二、使用 decode 方法进行解码

你可以使用 response.content.decode() 方法对字节数据进行解码。如果你知道服务器使用的正确编码方式，就可以直接将其作为参数传递给 decode 方法。例如，如果服务器使用的是 utf-8 编码：

python">import requests

response = requests.get('https://example.com')
decoded_content = response.content.decode('utf-8')
print(decoded_content)

在这个例子中，response.content.decode('utf-8') 会将字节数据按照 utf-8 编码方式解码为字符串，这样就能正确显示中文。

通过对response.content进行decode，来解决中文乱码

  • response.content.decode()默认UTF-8
  • response.content.decode("GBK")
  • 常见的编码字符集
    • UTF-8
    • gbk
    • gb2312
    • ascii
    • iso-8859-1

三、自动猜测编码并解码（使用 chardet）

如果不确定服务器的编码方式，可以使用 chardet 库来猜测编码。chardet 可以分析字节数据并尝试确定最可能的编码。以下是一个使用 chardet 的示例：

python">import requests
import chardet

response = requests.get('https://example.com')
# 使用 chardet 检测编码
detected_encoding = chardet.detect(response.content)['encoding']
print("检测到的编码:", detected_encoding)
# 按照检测到的编码进行解码
decoded_content = response.content.decode(detected_encoding)
print(decoded_content)

在这个例子中：

  1. 首先，使用 chardet.detect(response.content) 对 response.content 进行编码检测。
  2. chardet.detect(response.content)['encoding'] 会返回检测到的编码。
  3. 最后，将检测到的编码作为参数传递给 decode 方法对字节数据进行解码。

【完整代码示例】

python">import requests
import chardet

def get_decoded_content(url):
    response = requests.get(url)
    try:
        # 尝试使用服务器声明的编码进行解码
        decoded_content = response.content.decode(response.encoding)
    except UnicodeDecodeError:
        # 若解码失败，使用 chardet 猜测编码
        detected_encoding = chardet.detect(response.content)['encoding']
        decoded_content = response.content.decode(detected_encoding)
    return decoded_content


# 示例使用
url = 'https://example.com'
decoded_content = get_decoded_content(url)
print(decoded_content)

响应对象的其他属性或方法

除了text和status_code以外，response响应对象还有其他常用的属性或方法

属性或方法说明
response.url响应的url,有时候响应的url和请求的url并不一致
response.status_code响应状态码
response.request.headers响应对应的请求头
response.headers响应头
response.request._cookies响应对应请求的cookie,返回cookieJar类型
response.cookies响应的cookie(经过了set-cookie动作,返回cookieJar类型)
response.json()自动将json字符串类型的响应内容转换为python对象(dict/list)

【代码示例】

python">import requests
# response = requests.get('https://example.com')
# print(response.status_code)
# print(response.headers)  # 可以查看响应的头部信息
# print(response.headers.get('Content-Type')) #  可以获取具体的 Content-Type 信息，对于后续处理不同类型的响应内容很有用
# print(response.encoding) # 提供编码信息，有时可能不准确
# print(response.cookies) # 可以查看服务器返回的 Cookie 信息

response = requests.get('https://api.example.com/data')
data = response.json()
print(data) # 将响应内容解析为 JSON 格式

发送带参数的请求

我们在使用百度的时候经常发现url地址中会有一个?，那么该问号后边的就是请求参数，又叫做查询字符串

headers和查询参数

如果想添加 headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用 params 参数。

（一）在url携带参数

直接对含有参数的url发起请求

python">url = 'http://www.baidu.com/s?wd=长城'
response = requests.get(url, headers = headers)

（二）通过params携带参数字典

  1. 构建请求参数字典
  2. 向接口发送请求的时候带上参数字典，参数字典设置给params

【代码示例】

python">import requests

url = 'http://www.baidu.com/s?'
# 添加请求头，进一步伪装浏览器
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 构建参数字典
kw = {
    'wd':'长城'
}
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)

# 查看响应内容，response.text 返回的是Unicode格式的数据
print (response.text)

# 查看响应内容，response.content返回的字节流数据
print (respones.content)

# 查看完整url地址
print (response.url)

# 查看响应头部字符编码
print (response.encoding)

# 查看响应码
print (response.status_code)

http://www.niftyadmin.cn/n/5865017.html

相关文章

GPIO最大输出速度

GPIO最大输出速度

GPIO的输出速度因为实际情况斜坡的存在&#xff0c;加快GPIOD的输出速度会产生尖峰无法保持高电压和低电压。 将电压分为三种状态&#xff0c;低速&#xff0c;中速&#xff0c;高速&#xff0c;根据实际的情况选择。
阅读更多...
CSS 使用white-space属性换行

CSS 使用white-space属性换行

一、white-space属性的常见值 * 原本格式&#xff1a; 1、white-space:normal 默认值&#xff0c;空格和换行符会被忽略过滤掉&#xff1b;宽度不够时文本会自动换行 * 宽度足够时&#xff0c;normal 处理后的格式 * 宽度不够时&#xff0c; normal 处理后的格式 2、white-spa…
阅读更多...
如何实现修改jvm中类的属性开源项目

如何实现修改jvm中类的属性开源项目

根据你的需求&#xff0c;以下是一些可以实现类似阿里巴巴 Diamond 功能的框架和工具&#xff0c;这些项目可以帮助你动态推送配置信息&#xff0c;从而实现类似的功能&#xff1a; 1. Nacos Nacos 是一个更现代的动态配置服务&#xff0c;支持配置管理、服务发现和元数据管理…
阅读更多...
QT 读取sqlite3数据库中文乱码

QT 读取sqlite3数据库中文乱码

QT读取sqlite3中中文在界面上显示是乱码 // 问题描述&#xff1a;QT 读取sqlite3中的数据;中文乱码&#xff1a;使用sqlite3 c 接口 保存在char* 中&#xff1b;然后转换成QString 在界面显示 //1.界面上我们文本采用gb2312格式;需要在工程main函数QApplication app(argc, arg…
阅读更多...
go实现敏感词过滤

go实现敏感词过滤

go敏感词过滤 实现思路: 1.敏感词库加载 2.敏感词匹配 3.敏感词替换 敏感词库 这里使用的的是敏感词库 下载后将敏感词处理成一个字符串切片加载到内存中 //go:embed sensitive_words_lines.txt var sensitiveWordsFile stringfunc InitSensitiveWords() (sensitiveWor…
阅读更多...
系统架构分析：软件需求工程部分知识一览概括

系统架构分析：软件需求工程部分知识一览概括

需求工程：软件开发的起点与灵魂 在软件开发的世界里，需求工程是整个项目生命周期的起点和灵魂。它决定了软件的方向、功能和价值。一个成功的软件项目，离不开清晰、准确、完整的需求工程。本文将带你深入了解需求工程的核心概念、流程、方法和实践，帮助你在软件开发中更好…
阅读更多...
Shell脚本基础：用Bash自动化任务

Shell脚本基础：用Bash自动化任务

Shell脚本基础&#xff1a;用Bash自动化任务 在Linux运维中&#xff0c;手动执行重复性任务既耗时又容易出错&#xff0c;而Shell脚本则为自动化提供了强大支持。 从基础概念到实用案例&#xff0c;逐步掌握用Bash实现自动化的核心技能。Shell脚本是Linux自动化的基石&#xf…
阅读更多...
《Effective Objective-C》阅读笔记（中）

《Effective Objective-C》阅读笔记（中）

目录 接口与API设计 用前缀避免命名空间冲突 提供“全能初始化方法” 实现description方法 尽量使用不可变对象 使用清晰而协调的命名方式 方法命名 ​编辑类与协议命名 为私有方法名加前缀 理解OC错误模型 理解NSCopying协议 协议与分类 通过委托与数据源协议进行…
阅读更多...
最新文章

Copyright @ 2022~2023