手把手教你用Python网络爬虫实现起点小说下载

今天要跟大家分享一个小说爬取案例--------起点小说的小说下载。

创新互联成立于2013年，是专业互联网技术服务公司，拥有项目成都网站制作、做网站网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元平潭做网站,已为上家服务,为平潭各地企业和个人服务,联系电话:13518219792

在做这个案例之前，我们需要对其进行分析，

1.界面分析，如图：

通过分析很容易就找到了我们的get请求参数，然后获取相应页面的小说名和链接：

获取到数据之后，我们就随机挑选一篇小说来进行下载，我们选第一篇，

然后打开它的文章目录，可以看到是这样的，如图：

基本上这篇小说很长，可以看到它卷一和卷二是免费的，后面的收费，那么今天我们就只爬免费的章节。

那么我们现在开始分析网页结构，如图：

那么，我们可以先把卷一的名字和章节数以及章节下的每个章节的名字都打印出来。

首先我们可以分析下这个网页地址，如图：

 
 
 
 

  
  
  
  
https://book.qidian.com/info/1014243481#Catalog 
 
 
 
 

发觉前面的没变，基本就是后面的变了，增加了一个info/1014243481#Catalog,下面开始分析：

info：信息的意思，

1014243481：小说对应的ID，

#Catalog：数据补全，无太大意义

因为刚刚已经将文章链接的内容爬取出来，所以现在只需要拼接一个#Catalog 即可：

下面我们就可以对它发起请求然后在分析它的页面了，首先发起get请求，按照前面的网页分析结构来看，我们应该这样写：

可以看出，因为这里有异步加载，所以我们的请求不会一下子全部显示出来，需要不断的请求，当然最好加个延迟。

这样我们就获取到了这个页面所有的小说，也可以这样，因为我们没找接口，所以强行解析只能解析部分内容，但是也很全面了。如图：

找的还算挺详细，只不过没有找接口时所拿到的数据那么规范好看了。

标题名称：手把手教你用Python网络爬虫实现起点小说下载
文章URL：http://www.mswzjz.cn/qtweb/news22/37172.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能