Python抓取网页内容应用代码分析

我们今天将会通过这篇文章，为大家详细介绍一下Python抓取网页内容的两种不同方法。大家可以以此为参考对象，在实际应用中选择一种适合自己的应用方式来帮助我们完成实际开发中的需求。

Python抓取网页内容方法一、用urllib2/sgmllib包，将目标网页的所有URL列出。

 
 
 
  
  
  
import urllib2  
  
  
  
from sgmllib import SGMLParser   
  
  
  
class URLLister(SGMLParser):  
  
  
  
def reset(self):   
  
  
  
SGMLParser.reset(self)  
  
  
  
self.urls = []  
  
  
  
def start_a(self, attrs):   
  
  
  
href = [v for k, v in attrs if k=='href']   
  
  
  
if href:  
  
  
  
self.urls.extend(href)  
  
  
  
f = urllib2.urlopen("http://www.donews.com/")  
  
  
  
if f.code == 200:  
  
  
  
parser = URLLister()  
  
  
  
parser.feed(f.read())  
  
  
  
f.close()  
  
  
  
for url in parser.urls: print url 
 
 

Python抓取网页内容方法二、用python调用IE抓取目标网页（Require win32com, pythoncom）的所有图像的url和大小

 
 
 
  
  
  
import win32com.client, pythoncom  
  
  
  
import time  
  
  
  
ie = win32com.client.DispatchEx('InternetExplorer.Application.1')  
  
  
  
ie.Visible = 1 
  
  
  
ie.Navigate("http://news.sina.com.cn")  
  
  
  
while ie.Busy:  
  
  
  
time.sleep(0.05)  
  
  
  
doc = ie.Document  
  
  
  
for i in doc.images:  
  
  
  
print i.src, i.width, i.height 
 
 

这种方法可以利用IE本身的Javascript. DHTML的支持，来做自动提交Form,和处理Javascript。

以上就是我们为大家介绍的Python抓取网页内容的两种不同的方法。

【编辑推荐】

1. Python编码规范基本内容简介
2. Python调用MySql存储过程基本应用方式解读
3. 第三方Python库基本概念简述
4. Python打包方法基本应用方式介绍
5. Python set类型基本应用方式解读

文章标题：Python抓取网页内容应用代码分析
网页地址：http://www.mswzjz.cn/qtweb/news39/468039.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能