10行代码爬取微信公众号文章评论

10 行代码就能把公众号文章评论爬下来，有点耸人听闻?如果我跟你说是用 Python 实现的，你可能会信了，因为 Python 确实很强大，写个简单爬虫真的只要几行代码就可以搞定，这次爬的是微信的数据，相对来说要麻烦一点。这里讨论的是如何爬自己公众号下面文章的评论，有人说别人文章能抓取吗?理论上都可以，但凡是你能看到的都可以爬，不过，这篇文章讨论的是自己文章，思路都是相通的，希望本文可以给你一些启迪。

公司主营业务：成都网站制作、做网站、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出马山免费做网站回馈大家。

1. 获取Cookie

因为是爬自己微信号文章里面的评论，首先你需要登录公众号后台，登录后才能看到文章的评论，登录就会涉及到 cookie，发起请求时只有带上 cookie 才能得到正确的数据。所以***步就是把 cookie 信息取到。

打开 Chrome 浏览器你会看到发送请求时会自动把 Cookie 信息发送给微信，我们就把这段 Cookie 数据拷贝出来，用 Python 构建一个 Cookie 对象，给 requests 使用。

 
 
 
 
  
  
  
  from http.cookies import SimpleCookie
  
  
  
  raw_cookie = "gsScrollPos-5517=; ..中间还省略很多... bizuin=2393828"
  
  
  
  
  
  
  
  cookie = SimpleCookie(raw_cookie)
  
  
  
  requests_cookies = dict([(c, cookie[c].value) for c in cookie])
  
  
  
  
  
  
  
  r = requests.get(url, cookies=requests_cookies)

2. 构造URL

打开任意文章的评论列表，你会发现它的 URL 结构非常清晰，根据名字基本能判断每个参数的意义，这里比较重要的参数是 begin，它是作为分页的起始位置，其实它固定不变就好

 
 
 
 
  
  
  
  url = "https://mp.weixin.qq.com/misc/appmsgcomment?" \
  
  
  
                   "action=list_comment&" \
  
  
  
                   "mp_version=7&" \
  
  
  
                   "type=0&" \
  
  
  
                   "comment_id=2881104117&" \ # 被评论的文章ID
  
  
  
                   "begin=0&" \  # 分页参数
  
  
  
                   "count=10&" \ # 每次返回10条评论
  
  
  
                   "token=1300595798&" \
  
  
  
                   "lang=zh_CN"

3. 抓取数据

把 Cookie 和 URL 都搞清楚了，就可以把模拟浏览器抓取数据并进行清洗，开始想着用 BeautifulSoup 来解析网页，结果失败了。

查找了原因，把爬下来的页面另存为 html 文件，在 html 源代码文件中找留言里面的关键字，发现评论并没有在 div 标签中，而是存在于一段 JS 代码块中，看起来像 JSON 数据，看来数据是在本地用 JavaScript 渲染后显示的。

于是改用正则表达式，截取需要的数据，最终存储数据库，差不多10代码搞定。

 
 
 
 
  
  
  
  def main():
  
  
  
      # 普通留言, 精选留言总数
  
  
  
      normal_count, selected_count = 141, 100
  
  
  
      # 普通留言url
  
  
  
      normal_url = "https://mp.weixin.qq.com/misc/appmsgcomment?"
  
  
  
      dd = dict([(normal_count, selected_url)])
  
  
  
  
  
  
  
      for k, v in dd.items():
  
  
  
          crawler(k, v)
  
  
  
  
  
  
  
  def crawler(count, url):
  
  
  
      for i in range(0, count, 10):
  
  
  
          r = requests.get(url.format(begin=i), cookies=requests_cookies)
  
  
  
          match = re.search(r'"comment":(\[\{.*\}\])', r.text, re.S)
  
  
  
          if match:
  
  
  
              data = json.loads(match.group(1), encoding="utf-8")
  
  
  
              conn.insert_many(data)
  
  
  
          time.sleep(1)

【本文是专栏作者“刘志军”的原创文章，作者微信公众号：Python之禅(VTtalk)】

网页标题：10行代码爬取微信公众号文章评论
URL标题：http://www.mswzjz.cn/qtweb/news18/393818.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：贝锐智能

贝锐智能技术为您推荐以下文章