用Python分析深圳程序员工资有多高？还真是多金的程序员！

前言

多图预警、多图预警、多图预警。秋招季，毕业也多，跳槽也多。我们的职业发展还是要顺应市场需求，那么各门编程语言在深圳的需求怎么呢？工资待遇怎么样呢？zone 在上次写了这篇文章之后 用Python告诉你深圳房租有多高 ，想继续用 Python 分析一下，当前深圳的求职市场怎么样？顺便帮一下秋招的同学。于是便爬取了某拉钩招聘数据。以下是本次爬虫的样本数据：

样本

本次统计数据量为 4658 ，其中某拉钩最多能显示 30 页数据，每页 15 条招聘信息，则总为：

30 x 15 = 450

首页爬取跳过一页，则为 435 条，故数据基本爬完。其余不够数量的语言为该语言在深圳只有这么多条招聘信息。

统计结果

各语言平均工资

其中

  • 精准推荐
  • 自然语言
  • 机器学习
  • Go 语言
  • 图像识别

独领风骚啊！！！平均工资都挺高的。区块链炒得挺火的，好像平均薪资并没有那么高。我统计完之后，感觉自己拖后腿了，ma 的！！！要删库跑路了！（注：下图为月薪，单位：K）

各语言平均薪资

平均工资计算方式：

某钩 item

***值与***值，求平均数，如图薪资则为：

(10k + 20k)/2 =
15k

***，再总体求平均数。

公司福利词云

看福利还是挺丰富的，带薪休假、下午茶、零食、节假日。

福利词云

公司发展级别排行

总体由 A 轮向 D 轮缩减，大部分公司不需要融资，嗯，估计是拿不到资本融资，但是自家人又有钱的。

公司发展级别

各语言工作年限要求与学历要求

看看你的本命语言的市场需求怎么样？你达标了吗？其中三至五年的攻城狮职位挺多的，不怕找不到工作。还有一个趋势是，薪资越高，学历要求越高高。看来学历还是挺重要的。

Java

Java 工作年限要求

Java 学历要求

Python

Python 工作年限要求

Python 学历要求

C 语言

C 语言工作年限要求

C 语言学历要求

机器学习

机器学习工作年限要求

机器学习学历要求

图像识别

图像识别工作年限要求

图像识别学历要求

自然语言

自然语言工作年限要求

自然语言学历要求

区块链

区块链工作年限要求

区块链学历要求

Go 语言

Go 语言工作年限要求

Go

PHP

PHP 工作年限要求

PHP 学历要求

爬虫技术分析

  • 请求库：selenium
  • HTML 解析：BeautifulSoup、xpath
  • 词云：wordcloud
  • 数据可视化：pyecharts
  • 数据库：MongoDB
  • 数据库连接：pymongo

爬虫代码实现

看完统计结果之后，有没有跃跃欲试？想要自己也实现以下代码？以下为代码实现。

对网页右击，点击检查，找到一条 item 的数据：

网页源码

数据库存储结构：


 
 
 
    
  
  
  
  1. /* 1 */
    2. 
  
  
  
  2. {
    3. 
  
  
  
  3.  "_id" : ObjectId("5b8b89328ffaed60a308bacd"),
    4. 
  
  
  
  4.  "education" : "本科",# 学习要求
    5. 
  
  
  
  5.  "companySize" : "2000人以上",# 公司人数规模
    6. 
  
  
  
  6.  "name" : "python开发工程师",# 职位名称
    7. 
  
  
  
  7.  "welfare" : "“朝九晚五,公司平台大,发展机遇多,六险一金”",# 公司福利
    8. 
  
  
  
  8.  "salaryMid" : 12.5,# 工资上限与工资下限的平均数
    9. 
  
  
  
  9.  "companyType" : "移动互联网",# 公司类型
    10. 
  
  
  
  10.  "salaryMin" : "10",# 工资下限
    11. 
  
  
  
  11.  "salaryMax" : "15",# 工资上限
    12. 
  
  
  
  12.  "experience" : "经验3-5年",# 工作年限
    13. 
  
  
  
  13.  "companyLevel" : "不需要融资",# 公司级别
    14. 
  
  
  
  14.  "company" : "XXX技术有限公司"# 公司名称
    15. 
  
  
  
  15. }
    16.

由于篇幅原因，以下只展示主要代码：

 
 
 
    
  
  
  
  1. # 获取网页源码数据
    2. 
  
  
  
  2. # language => 编程语言
    3. 
  
  
  
  3. # city => 城市
    4. 
  
  
  
  4. # collectionType => 值：True/False True => 数据库表以编程语言命名 False => 以城市命名
    5. 
  
  
  
  5. def main(self, language, city, collectionType):
    6. 
  
  
  
  6.  print(" 当前爬取的语言为 => " + language + " 当前爬取的城市为 => " + city)
    7. 
  
  
  
  7.  url = self.getUrl(language, city)
    8. 
  
  
  
  8.  browser = webdriver.Chrome()
    9. 
  
  
  
  9.  browser.get(url)
    10. 
  
  
  
  10.  browser.implicitly_wait(10)
    11. 
  
  
  
  11.  for i in range(30):
    12. 
  
  
  
  12.  selector = etree.HTML(browser.page_source) # 获取源码
    13. 
  
  
  
  13.  soup = BeautifulSoup(browser.page_source, "html.parser")
    14. 
  
  
  
  14.  span = soup.find("div", attrs={"class": "pager_container"}).find("span", attrs={"action": "next"})
    15. 
  
  
  
  15.  print(
    16. 
  
  
  
  16.  span) # 下一页
    17. 
  
  
  
  17.  classArr = span['class']
    18. 
  
  
  
  18.  print(classArr) # 输出内容为 -> ['pager_next', 'pager_next_disabled']
    19. 
  
  
  
  19.  attr = list(classArr)[0]
    20. 
  
  
  
  20.  attr2 = list(classArr)[1]
    21. 
  
  
  
  21.  if attr2 == "pager_next_disabled":#分析发现 class 属性为 ['pager_next', 'pager_next_disabled'] 时，【下一页】按钮不可点击
    22. 
  
  
  
  22.  print("已经爬到***一页，爬虫结束")
    23. 
  
  
  
  23.  break
    24. 
  
  
  
  24.  else:
    25. 
  
  
  
  25.  print("还有下一页，爬虫继续")
    26. 
  
  
  
  26.  browser.find_element_by_xpath('//*[@id="order"]/li/div[4]/div[2]').click() # 点击【下一页】按钮
    27. 
  
  
  
  27.  time.sleep(5)
    28. 
  
  
  
  28.  print('第{}页抓取完毕'.format(i + 1))
    29. 
  
  
  
  29.  self.getItemData(selector, language, city, collectionType)# 解析 item 数据，并存进数据库
    30. 
  
  
  
  30.  browser.close()
    31.

爬虫分析实现

 
 
 
    
  
  
  
  1. # 获取各语言样本数量
    2. 
  
  
  
  2. def getLanguageNum(self):
    3. 
  
  
  
  3.  analycisList = []
    4. 
  
  
  
  4.  for index, language in enumerate(self.getLanguage()):
    5. 
  
  
  
  5.  collection = self.zfdb["z_" + language]
    6. 
  
  
  
  6.  totalNum = collection.aggregate([{'$group': {'_id': '', 'total_num': {'$sum': 1}}}])
    7. 
  
  
  
  7.  totalNum2 = list(totalNum)[0]["total_num"]
    8. 
  
  
  
  8.  analycisList.append(totalNum2)
    9. 
  
  
  
  9.  return (self.getLanguage(), analycisList)
    10. 
  
  
  
  10. # 获取各语言的平均工资
    11. 
  
  
  
  11. def getLanguageAvgSalary(self):
    12. 
  
  
  
  12.  analycisList = []
    13. 
  
  
  
  13.  for index, language in enumerate(self.getLanguage()):
    14. 
  
  
  
  14.  collection = self.zfdb["z_" + language]
    15. 
  
  
  
  15.  totalSalary = collection.aggregate([{'$group': {'_id': '', 'total_salary': {'$sum': '$salaryMid'}}}])
    16. 
  
  
  
  16.  totalNum = collection.aggregate([{'$group': {'_id': '', 'total_num': {'$sum': 1}}}])
    17. 
  
  
  
  17.  totalNum2 = list(totalNum)[0]["total_num"]
    18. 
  
  
  
  18.  totalSalary2 = list(totalSalary)[0]["total_salary"]
    19. 
  
  
  
  19.  analycisList.append(round(totalSalary2 / totalNum2, 2))
    20. 
  
  
  
  20.  return (self.getLanguage(), analycisList)
    21. 
  
  
  
  21. # 获取一门语言的学历要求（用于 pyecharts 的词云）
    22. 
  
  
  
  22. def getEducation(self, language):
    23. 
  
  
  
  23.  results = self.zfdb["z_" + language].aggregate([{'$group': {'_id': '$education', 'weight': {'$sum': 1}}}])
    24. 
  
  
  
  24.  educationList = []
    25. 
  
  
  
  25.  weightList = []
    26. 
  
  
  
  26.  for result in results:
    27. 
  
  
  
  27.  educationList.append(result["_id"])
    28. 
  
  
  
  28.  weightList.append(result["weight"])
    29. 
  
  
  
  29.  # print(list(result))
    30. 
  
  
  
  30.  return (educationList, weightList)
    31. 
  
  
  
  31. # 获取一门语言的工作年限要求（用于 pyecharts 的词云）
    32. 
  
  
  
  32. def getExperience(self, language):
    33. 
  
  
  
  33.  results = self.zfdb["z_" + language].aggregate([{'$group': {'_id': '$experience', 'weight': {'$sum': 1}}}])
    34. 
  
  
  
  34.  totalAvgPriceDirList = []
    35. 
  
  
  
  35.  for result in results:
    36. 
  
  
  
  36.  totalAvgPriceDirList.append(
    37. 
  
  
  
  37.  {"value": result["weight"], "name": result["_id"] + " " + str(result["weight"])})
    38. 
  
  
  
  38.  return totalAvgPriceDirList
    39. 
  
  
  
  39. # 获取 welfare 数据，用于构建福利词云
    40. 
  
  
  
  40. def getWelfare(self):
    41. 
  
  
  
  41.  content = ''
    42. 
  
  
  
  42.  queryArgs = {}
    43. 
  
  
  
  43.  projectionFields = {'_id': False, 'welfare': True} # 用字典指定
    44. 
  
  
  
  44.  for language in self.getLanguage():
    45. 
  
  
  
  45.  collection = self.zfdb["z_" + language]
    46. 
  
  
  
  46.  searchRes = collection.find(queryArgs, projection=projectionFields).limit(1000)
    47. 
  
  
  
  47.  for result in searchRes:
    48. 
  
  
  
  48.  print(result["welfare"])
    49. 
  
  
  
  49.  content += result["welfare"]
    50. 
  
  
  
  50.  return content
    51. 
  
  
  
  51. # 获取公司级别排行（用于条形图）
    52. 
  
  
  
  52. def getAllCompanyLevel(self):
    53. 
  
  
  
  53.  levelList = []
    54. 
  
  
  
  54.  weightList = []
    55. 
  
  
  
  55.  newWeightList = []
    56. 
  
  
  
  56.  attrList = ["A轮", "B轮", "C轮", "D轮及以上", "不需要融资", "上市公司"]
    57. 
  
  
  
  57.  for language in self.getLanguage():
    58. 
  
  
  
  58.  collection = self.zfdb["z_" + language]
    59. 
  
  
  
  59.  # searchRes = collection.find(queryArgs, projection=projectionFields).limit(1000)
    60. 
  
  
  
  60.  results = collection.aggregate([{'$group': {'_id': '$companyLevel', 'weight': {'$sum': 1}}}])
    61. 
  
  
  
  61.  for result in results:
    62. 
  
  
  
  62.  levelList.append(result["_id"])
    63. 
  
  
  
  63.  weightList.append(result["weight"])
    64. 
  
  
  
  64.  for index, attr in enumerate(attrList):
    65. 
  
  
  
  65.  newWeight = 0
    66. 
  
  
  
  66.  for index2, level in enumerate(levelList):
    67. 
  
  
  
  67.  if attr == level:
    68. 
  
  
  
  68.  newWeight += weightList[index2]
    69. 
  
  
  
  69.  newWeightList.append(newWeight)
    70. 
  
  
  
  70.  return (attrList, newWeightList) 
    71.

网页名称：用Python分析深圳程序员工资有多高？还真是多金的程序员！
标题链接：http://www.mswzjz.cn/qtweb/news46/358646.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能

贝锐智能技术为您推荐以下文章

品牌网站建设知识

分类信息网

郫县明安消防器材　　 　无边发光字　　 　成都商城网站建设　　 　域名注册　　 　网站空间　　 　眉山网站建设　　 　广东网站设计制作公司　　 　金融行业网站建设方案　　 　虚拟主机　　 　成都花箱　　 　东方电机技改　　 　企业网站建设公司　　 　域名ssl证书　　 　成都网络营销公司　　 　成都响应式网站建设公司　　 　专业LED亮化工程　　 　衣柜书柜酒柜定制　　 　h5页面制作　　 　广告媒介投放　　 　重庆网站建设