十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章将为大家详细讲解有关Python如何爬取视频,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联专注于于都企业网站建设,成都响应式网站建设公司,商城网站建设。于都网站建设公司,为于都等地区提供建站服务。全流程定制开发,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务
1.完成这个程序代码需要的Python模块
需要的Python模块有:requests模块、bs4模块、threading模块、sys模块、urllib模块、os模块
下面简要的介绍一下在这个程序中所使用的Python模块的作用:
requests模块:主要用于爬取网页数据;
bs4模块:主要用于解析爬取得到的数据信息;
threading模块:主要用于下载所有的.ts文件,提高下载速度;
sys模块:如果程序中间出现错误,终止整个程序代码,使用sys.exit()方法;
urllib模块:用于对用户输入的信息进行编码,主要使用urllib.parse.urlencode()方法;
os模块:用于得到一个文件夹下面所有的文件(或者文件夹)(在这里是得到文件),使用os.listdir()方法。
首先,我们要来到这个网址下面:YM影视
在搜索栏上面输入一部视频的名称:小编在这里输入的是:斗罗大陆,点击搜索按钮,来到下面的画面:
接下俩我们需要得到的内容就是这些了,按电脑键盘的F12键,来到开发者工具,可以发现,这些内容和视频的链接在这个标签下面;
实现代码:两个函数
def get_video_content(): # 得到匹配到的相关电影(或者电视剧)的名称、链接、简介的列表 video=input('请输入你想看的电影或者电视剧名称:') keyword=parse.urlencode({'k':video})[2:] # 对输入的名称进行编码 url='http://ymystv.com/seacher-%s.html'%(keyword) headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400'} response=requests.get(url=url,headers=headers) soup=BeautifulSoup(response.text,'lxml') list_1=soup.select('li.activeclearfix') # list_1列表里面有的内容为 电影名称(或者电视剧名称)、链接、简介等 return list_1 def get_video_contents(list_1:list): # 进一步处理得到的内容(解析) list_url=[] # 视频的链接 listName=[] # 视频名称 for i in range(len(list_1)): url=list_1[i].select('div.detail>h4>a')[0]['href'] url='http://ymystv.com/'+url[url.rfind('./')+2:] list_url.append(url) name=list_1[i].select('div.detail>h4>a')[0].text listName.append(name) print('【{}】-{}'.format(i+1,name)) # 电影或者电视剧的名称 str1=list_1[i].select('div.detail>div.m-description')[0].text # 电影或者电视剧的简介 # 对简介进行字符串处理,并按照每行最多50个字符输出 str1='简介:'+str1[str1.find('简 介 :')+6:].strip() # 去空格 for j in range(len(str1)//50+1): print('{}'.format(str1[j*50:(j+1)*50])) # print('{}'.format(str1)) # 没处理的输出结果 print('*'+'--'*36) id=int(input('请输入你想看的序号:')) return list_url[id-1],listName[id-1]
运行结果:
之后就是选择我们想看的视频了,我选择的是 龙王传说 也就是上面的序号6,虽然我没有显示出它,
点进去之后,可以发现,这里有许多集,现在需要的就是这些集数的链接了。
跟上面一样,按电脑键盘F12键,来到开发者模式,可以发现,集数在这个标签下面;
这样我们就可以得到这些视频的播放链接了,那怎样下载呢?我们点击NetWork下面的XHR刷新一下,可以发现,在这里有一个视频接口(你懂的),只要将这个接口和刚才我们得到的一个视频链接组合起来,在浏览器上打开,就是一个json数据,如下:
我们只需将这个链接得到,并且得到里面使用的.ts文件的下载链接即可。
这里我运用的多线程下载,不过并不是所有的.ts文件都能播放的,但是合并成.MP4之后,是可以的;如果得到是一个.MP4文件的下载链接,我会将它直接输出,因为一个.mp4文件比较大,运用Python爬虫下载花费的时间比较多,所以这还不如直接运用浏览器下载。
import os path=input('请输入需要合并的绝对路径:') list_1=[path+'\{}.ts'.format(str(ij)) for ij in sorted([int(str_1[:str_1.find('.')]) for str_1 in os.listdir(path)])] for str_2 in list_1: with open(file=str_2,mode='rb') as f: content=f.read() with open(file='./龙王传说_1.mp4',mode='ab') as fp: fp.write(content)
合并保存的那个.MP4文件的名称需要我们自己手动修改一下,当然读者也可以改动一个代码,不过,我觉得我的这个合并还不算好,播放的MP4还是有一些问题的,读者如果有什么更好的合并方法,可以在下方留言,谢谢!
运行结果:
运用Python爬虫下载视频
代码:
代码我已经上传到github上了,读者可以自行到上面查看,链接为:
video.py
关于Python如何爬取视频就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。