盘点三种Python网络爬虫过程中的中文乱码的处理方法

大家好，我是Python进阶者。前几天给大家分享了一些乱码问题的文章，感兴趣的小伙伴可以前往：UnicodeEncodeError: 'gbk' codec can't encode character解决方法，这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。

广陵ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联公司的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18980820575（备注：SSL证书合作）期待与您的合作！

前言

前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。

看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感!

一、思路

其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码，其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法，肯定还有其他的方法的，也欢迎大家在评论区谏言。

二、分析

其实关于中文乱码的表现形式有很多，但是常见的两种如下：

1、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：

 
 
 
 

  
  
  
  
ÃÀÅ® µçÄÔ×À ¼üÅÌ »ú·¿ ¿É°® Ð¡½ã½ã4k±ÚÖ½
 
 
 
 

2、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：

 
 
 
 

  
  
  
  
�װŮ�� ��Ů ˮ СϪ Ψ��
 
 
 
 

虽然看上去控制台输出正常，没有报错：

 
 
 
 

  
  
  
  
Process finished with exit code 0
 
 
 
 

但是输出的中文内容，却不是普通人能看得懂的。

这种情况下的话，就可以通过使用本文给出的三种方法进行解决，屡试不爽!

三、具体实现

1)方法一：将requests.get().text改为requests.get().content 我们可以看到通过text()方法获取到的源码，之后进行打印输出的话，确实是会存在乱码的，如下图所示。

此时可以考虑将请求变为.content，得到的内容就是正常的了。

2)方法二：手动指定网页编码

 
 
 
 

  
  
  
  
# 手动设定响应数据的编码格式
  
  
  
  
response.encoding = response.apparent_encoding
 
 
 
 

这个方法稍微复杂一些，但是比较好理解，对于初学者来说，还是比较好接受的。

如果觉得上面的方法很难记住，或者你可以尝试直接指定gbk编码也可以进行处理，如下图所示：

上面介绍的两种方法都是针对网页进行整体编码，效果显著，接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。

3)方法三：使用通用的编码方法

 
 
 
 

  
  
  
  
img_name.encode('iso-8859-1').decode('gbk')
 
 
 
 

使用通用的编码方法，对中文出现乱码的地方进行编码设定即可。还是当前的这个例子，针对img_name进行编码设定，指定编码并进行解码，如下图所示。

如此一来，中文乱码的问题就迎刃而解了。

四、总结

我是Python进阶者。本文基于粉丝提问，针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，顺利帮助粉丝解决了问题。

分享文章：盘点三种Python网络爬虫过程中的中文乱码的处理方法
URL标题：http://www.mswzjz.cn/qtweb/news12/551812.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能