Python爬取近十年TIOBE编程语言热度数据并可视化

 本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据，并使用openpyxl写入数据与pyecharts时间轮播图进行可视化。

成都创新互联公司专业提供成都多线机房服务，为用户提供五星数据中心、电信、双线接入解决方案，用户可自行在线购买成都多线机房服务，并享受7*24小时金牌售后服务。

一、数据获取

我们需要爬取的目标url为https://www.tiobe.com/tiobe-index/打开之后如下

分析网页源代码可以找到想要的数据，利用正则表达式提取出想要的数据，并保存到Excel中，便于后续数据处理和可视化。

完整爬虫代码如下，其中大多数语句都给出了详细注释，感兴趣的读者可以进一步研究。

 
 
 
 
    
  
  
  
  
  1. # -*- coding: UTF-8 -*-
    2. 
  
  
  
  
  2. """
    3. 
  
  
  
  
  3. @File    ：spider.py
    4. 
  
  
  
  
  4. @Author  ：叶庭云
    5. 
  
  
  
  
  5. @CSDN    ：https://yetingyun.blog.csdn.net/
    6. 
  
  
  
  
  6. """
    7. 
  
  
  
  
  7. import requests
    8. 
  
  
  
  
  8. import re
    9. 
  
  
  
  
  9. import openpyxl
    10. 
  
  
  
  
  10. import logging
    11. 
  
  
  
  
  11. 
  
  
  
  
  12. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
    13. 
  
  
  
  
  13. headers = {
    14. 
  
  
  
  
  14.     "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"
    15. 
  
  
  
  
  15. }
    16. 
  
  
  
  
  16. 
  
  
  
  
  17. wb = openpyxl.Workbook()    # 创建工作簿对象
    18. 
  
  
  
  
  18. sheet = wb.active           # 获取活动的工作表
    19. 
  
  
  
  
  19. # 编程语言   时间    热度
    20. 
  
  
  
  
  20. sheet.append(['Programing', 'Date', 'data_per'])
    21. 
  
  
  
  
  21. 
  
  
  
  
  22. url = 'https://www.tiobe.com/tiobe-index/'
    23. 
  
  
  
  
  23. rep = requests.get(url, headers=headers).text
    24. 
  
  
  
  
  24. 
  
  
  
  
  25. # 正则匹配提取数据
    26. 
  
  
  
  
  26. data = re.findall('{name : (.*?),data : (.*?)}', rep)
    27. 
  
  
  
  
  27. programing = [eval(k[0]) for k in data]     # 编程语言
    28. 
  
  
  
  
  28. dates = [i[1] for i in data]
    29. 
  
  
  
  
  29. 
  
  
  
  
  30. # 正则表达式处理 提取出想要的数据
    31. 
  
  
  
  
  31. for x in range(len(dates)):
    32. 
  
  
  
  
  32.     name = programing[x]
    33. 
  
  
  
  
  33.     datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL)
    34. 
  
  
  
  
  34.     for m in datas:
    35. 
  
  
  
  
  35.         date1 = re.findall(r'\d+', m)       # 正则提取出数字
    36. 
  
  
  
  
  36.         date2 = '-'.join(date1[:3])         # 拼接得到时间
    37. 
  
  
  
  
  37.         data_per = '.'.join(date1[-2:])     # 得到热度数据
    38. 
  
  
  
  
  38.         sheet.append([name, date2, data_per])
    39. 
  
  
  
  
  39.         logging.info([name, date2, data_per])
    40. 
  
  
  
  
  40. 
  
  
  
  
  41. wb.save('language_data.xlsx')
    42.

最终运行效果如下：

可以看到成功提取出想要的数据，并保存到Excel，在jupyter notebook 环境中查看数据：

二、 数据可视化

本节使用pyecharts绘制时间轮播图数据可视化，展示现在热度排 Top10 的编程语言 2009-2019 年每年的平均热度变化。

 
 
 
 
    
  
  
  
  
  1. # -*- coding: UTF-8 -*-
    2. 
  
  
  
  
  2. """
    3. 
  
  
  
  
  3. @File    ：轮播图.py
    4. 
  
  
  
  
  4. @Author  ：叶庭云
    5. 
  
  
  
  
  5. @CSDN    ：https://yetingyun.blog.csdn.net/
    6. 
  
  
  
  
  6. """
    7. 
  
  
  
  
  7. 
  
  
  
  
  8. import pandas as pd
    9. 
  
  
  
  
  9. import xlrd
    10. 
  
  
  
  
  10. import pyecharts.options as opts
    11. 
  
  
  
  
  11. from pyecharts.charts import Timeline, Bar
    12. 
  
  
  
  
  12. from pyecharts.globals import CurrentConfig
    13. 
  
  
  
  
  13. 
  
  
  
  
  14. 
  
  
  
  
  15. CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'
    16. 
  
  
  
  
  16. 
  
  
  
  
  17. # 提取编程语言名字
    18. 
  
  
  
  
  18. name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())
    19. 
  
  
  
  
  19. 
  
  
  
  
  20. data = xlrd.open_workbook('language_data.xlsx')
    21. 
  
  
  
  
  21. table = data.sheets()[0]
    22. 
  
  
  
  
  22. 
  
  
  
  
  23. dic1 = {k: [] for k in name}
    24. 
  
  
  
  
  24. # 各编程语言对应每年里不同时间的热度
    25. 
  
  
  
  
  25. for i in range(1, table.nrows):
    26. 
  
  
  
  
  26.  x = table.row_values(i)
    27. 
  
  
  
  
  27.  dic1[x[0]].append((x[1], x[2]))
    28. 
  
  
  
  
  28. 
  
  
  
  
  29. # 与编程语言顺序对应  每年编程语言对应的不同时间的热度
    30. 
  
  
  
  
  30. data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)}
    31. 
  
  
  
  
  31. print(data_per)
    32. 
  
  
  
  
  32. 
  
  
  
  
  33. count = 0
    34. 
  
  
  
  
  34. for k, v in dic1.items():
    35. 
  
  
  
  
  35.  for j in v:   # v (时间，热度)  热度数据添加进各年对应的列表里
    36. 
  
  
  
  
  36.   data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应起来
    37. 
  
  
  
  
  37.  count += 1
    38. 
  
  
  
  
  38. 
  
  
  
  
  39. # print(data_per)
    40. 
  
  
  
  
  40. data_per1 = {k: [] for k in list(data_per.keys())}
    41. 
  
  
  
  
  41. 
  
  
  
  
  42. for k, v in list(data_per.items()):
    43. 
  
  
  
  
  43.  for x in v:
    44. 
  
  
  
  
  44.   if len(x) == 0:                  # 这一年里该语言没有热度数据
    45. 
  
  
  
  
  45.    data_per1[k].append(0)
    46. 
  
  
  
  
  46.   else:
    47. 
  
  
  
  
  47.    avg = sum(x) / len(x)
    48. 
  
  
  
  
  48.    data_per1[k].append(avg)     # 这一年里的平均热度
    49. 
  
  
  
  
  49. 
  
  
  
  
  50. # 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度
    51. 
  
  
  
  
  51. print(data_per1)
    52. 
  
  
  
  
  52. 
  
  
  
  
  53. 
  
  
  
  
  54. def get_year_overlap_chart(year) -> Bar:
    55. 
  
  
  
  
  55.  sum_info = [(m, n) for m, n in zip(name, data_per1[year])]
    56. 
  
  
  
  
  56.  # 编程语言按每年平均热度排序
    57. 
  
  
  
  
  57.  sum_info.sort(key=lambda z: z[1], reverse=True)
    58. 
  
  
  
  
  58.  name_ = [m[0] for m in sum_info]
    59. 
  
  
  
  
  59.  datas = [m[1] for m in sum_info]
    60. 
  
  
  
  
  60.  # 每根柱子的颜色列表
    61. 
  
  
  
  
  61.  colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',
    62. 
  
  
  
  
  62.      '#9932CC']
    63. 
  
  
  
  
  63.  x = []
    64. 
  
  
  
  
  64.  for i in range(10):
    65. 
  
  
  
  
  65.   x.append(
    66. 
  
  
  
  
  66.    opts.BarItem(
    67. 
  
  
  
  
  67.     name=name_[i],
    68. 
  
  
  
  
  68.     value=datas[i],
    69. 
  
  
  
  
  69.     itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 设置每根柱子的颜色
    70. 
  
  
  
  
  70.    )
    71. 
  
  
  
  
  71.   )
    72. 
  
  
  
  
  72.  # 绘制柱形图
    73. 
  
  
  
  
  73.  bar = Bar()
    74. 
  
  
  
  
  74.  bar.add_xaxis(name_)
    75. 
  
  
  
  
  75.  bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True,
    76. 
  
  
  
  
  76.                   label_opts=opts.LabelOpts(is_show=False))
    77. 
  
  
  
  
  77.  bar.set_global_opts(title_opts=opts.TitleOpts(
    78. 
  
  
  
  
  78.       title="2009-2019编程语言热度"),
    79. 
  
  
  
  
  79.       tooltip_opts=opts.TooltipOpts(
    80. 
  
  
  
  
  80.       is_show=True, trigger="axis", axis_pointer_type="shadow"),
    81. 
  
  
  
  
  81.                   xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'),
    82. 
  
  
  
  
  82.  )
    83. 
  
  
  
  
  83.  return bar
    84. 
  
  
  
  
  84. 
  
  
  
  
  85. # 生成时间轴的图
    86. 
  
  
  
  
  86. timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px"))
    87. 
  
  
  
  
  87. for y in range(2009, 2020):
    88. 
  
  
  
  
  88.  timeline.add(get_year_overlap_chart(y), time_point=str(y))
    89. 
  
  
  
  
  89. 
  
  
  
  
  90. timeline.add_schema(is_auto_play=True, play_interval=1000)
    91. 
  
  
  
  
  91. timeline.render("language_2009_2019.html")
    92.

运行效果如下，可以看到虽然Python越来越火热，但Java稳坐编程语言热度排行榜第一!(此处一位PHP程序员拍桌)

三、补充

本节对有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题进行说明。

根据网站资源引用说明：pyecharts 使用的所有静态资源文件存放于pyecharts-assets项目中

默认挂载在 https://assets.pyecharts.org/assets/，因为默认优先从远程引用资源，这就导致有的时候无法加载 js 文件，图表显示不出来。

解决办法：下载所需 js 文件到本地，修改资源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看网站的介绍，pyecharts 提供了更改全局 HOST 的快捷方式。

 
 
 
 
    
  
  
  
  
  1. from pyecharts.globals import CurrentConfig
    2. 
  
  
  
  
  2. 
  
  
  
  
  3. CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径
    4.

分享文章：Python爬取近十年TIOBE编程语言热度数据并可视化
URL分享：http://www.mswzjz.cn/qtweb/news0/36800.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能

贝锐智能技术为您推荐以下文章

网站策划知识

行业网站建设

营销网站建设　　 　微信开发　　 　云服务器　　 　网站建设方案　　 　成都多线服务器托管　　 　成都包装设计公司　　 　鼎尚理发店　　 　腾讯香港免备案空间　　 　成都网站建设　　 　成都做网站　　 　成都翻译公司　　 　手机网站设计　　 　巴彦网站建设　　 　重庆网站设计　　 　研学实践　　 　四川中建建业　　 　ssl数字证书　　 　佑馨产后护理　　 　app软件开发公司　　 　成都多线机房