莫名其妙，从去年年底开始，Python这个东西在中国，突然一下子就火起来了，直至现在，他的热度更是超越了java，成为软件工程师最为关注的话题。Python之所以能火起来，很大一方面是因为大数据、人工智能和机器学习越来越受人关注的原因，那么，伴随着Python的火热，他的薪资是否也相应的高了起来了呢？于是，针对这个话题，在今年暑假，我做了一个关于Python、java和大数据和安卓的工作岗位的调查。
Java火了几十年，工作也是所有编程语言中最容易找的，这里面有很大一部分原因是由于安卓还得由Java开发（即使现在出了Kotlin），那么Python和大数据的工作状态又是怎么样的呢？于是在这里，我从51job中爬取了这四个职业的相关情况。
一、项目介绍
主要目标
1、分析python、Java、大数据和Android岗位的薪资如何？
2、分析python、Java、大数据和Android岗位在全国的分布情况
3、python、Java、大数据和Android的前景到底如何？
环境
win7、python2、pycharm
技术
1、数据采集：scrapy、
2、数据存储：csv文件、json文件
3、数据清洗：pandas
4、可视化：matplotlib、百度地图API
二、爬取
在招聘网上分别搜索这四个职业，查看了一下url、页码和需要爬取的数据，求出xpath：
使用scrapy框架进行爬取，代码如下：
items:
import scrapy class Job51Item(scrapy.Item): # 职位名 jobname = scrapy.Field() # 公司名 company = scrapy.Field() # 工作地点 work_place = scrapy.Field() # 薪资 salary = scrapy.Field() # 职位链接 joblink = scrapy.Field()
spiders:
# -*- coding: utf-8 -*- import scrapy from ..items import Job51Item class JobSpider(scrapy.Spider): name = 'job' allowed_domains = ['51job.com'] offset = 1 # ------------ # 控制链 lang = '安卓' # 职位 page = 260 # 页码 # ------------ start_urls = ['https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%d.html'%(lang,offset)] def parse(self, response): ajob = response.xpath('//div[@id="resultList"]/div[@class="el"]') for job in ajob: item = Job51Item() item['jobname'] = job.xpath('./p/span/a/@title').extract() item['company'] = job.xpath('./span[1]/a/text()').extract() item['work_place'] = job.xpath('./span[2]/text()').extract() item['salary'] = job.xpath('./span[3]/text()').extract() item['joblink'] = job.xpath('./p/span/a/@href').extract() yield item if self.offset <= self.page: self.offset += 1 yield scrapy.Request(url='https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%d.html'%(self.lang,self.offset),callback=self.parse)
修改控制链中的lang和page变量，分别爬取4个职位。
运行scrapy：scrapy crawl job -o android1.csv
数据保存在一个csv文件中，会得到5个csv文件，对应4种职位，其中Android有Android和安卓：
接下来对文件去重合并：
# -*- coding: utf-8 -*- import pandas as pd java_job = pd.read_csv('data/job_java.csv') # print java_job.shape # (100000, 5) python_job = pd.read_csv('data/job_python.csv') # print python_job.shape # (41421, 5) bigdata_job = pd.read_csv('data/job_bigdata.csv') # print bigdata_job.shape # (61191, 5) android1_job = pd.read_csv('data/job_android1.csv') # print android1_job.shape # (31734, 5) android2_job = pd.read_csv('data/job_android2.csv') # print android2_job.shape # (12961, 5) df = pd.concat([java_job,python_job,bigdata_job,android1_job,android2_job]) # df = python_job.append(java_job).append(bigdata_job) # print df.shape # (202612, 10) # 添加Android12之后：(247308, 5) # df.to_csv('data/job.csv',index=False) df.drop_duplicates(inplace=True) print df.shape # (168544, 5) # (192781, 5) df = df.reindex(columns=[u'jobname', u'work_place', u'salary', u'company', u'joblink']) df.to_csv('data/job.csv',index=False)
文件：
部分文件结果截图：
接着跟进链接，爬取职位详细信息，如图：
代码如下：
items:
class BaseJobItem(scrapy.Item): # 职位链接 job_link = scrapy.Field() # 职位信息 job_info = scrapy.Field() # 职能类型 job_type = scrapy.Field()
spiders：
# -*- coding: utf-8 -*- import scrapy from ..items import BaseJobItem import pandas as pd def get_link(): df = pd.read_csv('../data/job.csv',encoding='utf-8') return df['joblink'] class JobSpider(scrapy.Spider): name = 'basejob' allowed_domains = ['51job.com'] start_urls = get_link() def parse(self, response): item = BaseJobItem() job_info = response.xpath('//div[@class="bmsg job_msg inbox"]/p/text()').extract() job_type = response.xpath('//div[@class="bmsg job_msg inbox"]/div[@class="mt10"]/p[1]/span[@class="el"]/text()').extract() item['job_link'] = response.url item['job_info'] = job_info item['job_type'] = job_type return item
运行：scrapy crawl basejob -o basejob.csv
数据量有点大，话费了三个小时爬完。
效果如下：
文件有184M：
接下来将两个文件(job.csv和basejob.csv)合并：
# -*- coding: utf-8 -*- import pandas as pd df1 = pd.read_csv('./data/basejob.csv',header=0,encoding='utf-8',names=u'job_info,job_type,joblink'.split(',')) df2 = pd.read_csv('./data/job.csv',encoding='utf-8') # print df1.head() df = pd.merge(df1,df2,on='joblink') print df.sample(5) df = df.reindex(columns=u'jobname,work_place,salary,company,joblink,job_type,job_info'.split(',')) df.to_csv('./data/zhaoping.csv',index=False,encoding='utf-8') # ,index_label=u'jobname,work_place,salary,company,joblink,job_type,job_info'.split(',')
得到最终文件zhaoping.csv：
三、分析
这四种职业的薪资如何呢？针对这个问题，我将这些数据进行清洗，然后分析再使之可视化。
因为只需要分析薪资，所以知道职位和薪资的字段就行了，这里使用job.csv文件进行分析。
首先读取数据并清洗：
import pandas as pd df = pd.read_csv('data/job.csv', encoding='utf-8') df = df[~df['salary'].isna()] df['salary'] = df['salary'].apply(get_salary)
接下来将薪资格式化：
def get_salary(salary): """ 将薪资格式化 :param salary:薪资，如：1-1.5万/月 :return: 10K """ time = salary.split('/')[1] if salary.__contains__('-'): money = salary.split('/')[0][-1] salary_num = salary.split('-')[0] else: salary_num = re.search('\d+',salary.split('/')[0]).group() money = salary.split('/')[0].strip(salary_num) try: salary_num = float(salary_num) except: print salary,'=',money,salary_num if time == u'年': salary_num = salary_num/12 elif time == u'天': salary_num *= 30. elif time == u'小时': salary_num *= 30*12 if money == u'万': salary_num *= 10 elif money == u'元': salary_num /= 1000 return salary_num
获取不同语言的薪资待遇的对比并画图：
def diff_lang(): """ 获取不同语言的薪资待遇的对比 :return: """ lang = ['python','java',u'大数据',u'安卓','android'] avg_salary = map(get_avg_salary,lang) # 针对Android和安卓做特殊处理 lang = lang[:-1] avg_salary = avg_salary[:-2]+[sum(avg_salary[-2:])/len(avg_salary[-2:])] print lang print avg_salary for i,j in zip(lang,avg_salary): print '%s的平均薪资为:%.3fK' % (i.encode('utf-8'),j) p = plt.bar(lang,avg_salary) autolabel(p) plt.xlabel(u'编程语言') plt.ylabel(u'平均薪资') plt.title(u'python、java、大数据和安卓职业薪资待遇对比') plt.show()
还有获取某个编程语言的平均薪资的方法：
def get_avg_salary(lang='',city=''): """ 获取某个编程语言的平均薪资 :param lang: 编程语言名 :return: 平均薪资 """ jobdf = df[df['jobname'].str.contains(lang)] if city != '': jobdf = jobdf[jobdf['work_place'].str.contains(city)] if jobdf.shape[0] < 10: return sum_salary = jobdf['salary'] return sum_salary.astype(float).mean()
还有画图时显示柱状图上的数值的方法：
def autolabel(rects): """ 定义函数来显示柱状上的数值 :param rects:matplotlib.container.BarContainer :return: """ for rect in rects: height = rect.get_height() plt.text(rect.get_x(), 1.01*height, '%.1f' % float(height))
为了显示中文字还要声明一下字体：
plt.rcParams['font.sans-serif'] = ['kaiti']
运行diff_lang()函数：
从图中可以看出，大数据的薪资是最高的，达到了1W以上，而Python和Java位居二三，却远远没有大数据的薪资高，而安卓在这几个职位中薪资是最低的。
然后对同一语言不通地区薪资的待遇进行分析对比：
def diff_place(): """ 获取同一语言不通地区薪资的待遇 :return: """ citys = list(df['work_place'].str.split('-').map(lambda x:x[0]).drop_duplicates()) citys.remove(u'朝阳') # 朝阳有点特殊，有些城市直接就是朝阳，不过数量太少，直接忽略了，所以这里做朝阳的特殊处理 lang = ['python', 'java', u'大数据',u'安卓','android'] # ls如：['python','北京'] ls = [[a,b] for a in lang for b in citys] # x是某种语言在某个城市的平均薪资 x = [get_avg_salary(*l) for l in ls] info = {} for i,j in zip(ls,x): # if j != None: # print i[0],i[1],j if not info.has_key(i[0]): info[i[0]] = {} info[i[0]]['city'] = [] info[i[0]]['avg_salary'] = [] if j != None: info[i[0]]['city'] += [i[1]] info[i[0]]['avg_salary'] += [j] # info的可能取值如：info = {"python": {"city": ["上海", "成都",...],"avg_salary": [11.974358974358974, 7.016129032258065, ...]},...} # 特殊处理:对安卓和Android的数据进行合并 info = get_android(info) with open('./data/inf.json','w') as inf: json.dump(info,inf) plt.figure(1,(12,6)) plt.title(u'python、java、大数据和安卓职业各城市薪资待遇对比(单位：K)') for l in lang[:-1]: plt.subplot(len(lang[:-1]),1,lang.index(l) + 1) so = zip(info[l]['city'],info[l]['avg_salary']) so.sort(key=lambda x:x[1],reverse=True) p = plt.bar(range(len(info[l]['city'])),map(lambda x:x[1],so),label=l) plt.xticks(range(len(info[l]['city'])),map(lambda x:x[0],so),rotation=45) autolabel(p) plt.tight_layout() plt.legend() plt.show()
对安卓和Android的数据进行合并：
def get_android(info): """ 对安卓和Android的数据进行合并 :param info: = {"python": {"city": ["上海", "成都",...],"avg_salary": [11.974358974358974, 7.016129032258065, ...]},...} :return: info """ citys = set(info['android']['city']+info[u'安卓']['city']) for city in citys: i,j = 0, 0 if city in info['android']['city']: i = info['android']['avg_salary'][info['android']['city'].index(city)] if city in info[u'安卓']['city']: j = info[u'安卓']['avg_salary'][info[u'安卓']['city'].index(city)] else: info[u'安卓']['city'].append(city) info[u'安卓']['avg_salary'].append(i) info[u'安卓']['avg_salary'][info[u'安卓']['city'].index(city)] = (i+j)/2 del info['android'] return info
最后得到同一语言不同地区薪资的待遇结果图如下：
可以以热力图显示数据，这里使用百度的api：
# -*- coding: utf-8 -*- import json from urllib import urlopen, quote import sys reload(sys) sys.setdefaultencoding('utf-8') def getlnglat(address): url = 'http://api.map.baidu.com/geocoder/v2/' output = 'json' ak = 'FOtHtZ92dCKMjpx0XA05g8VEZn95QWOK' add = quote(address.encode('utf-8')) #由于本文城市变量为中文，为防止乱码，先用quote进行编码 uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak print uri req = urlopen(uri) res = req.read() #将其他编码的字符串解码成unicode temp = json.loads(res) #对json数据进行解析 return temp file = open(r'./data/city.json','w') #建立json数据文件 with open(r'./data/test.json', 'r') as f: js = json.load(f) data = [] for k,v in js.iteritems(): c = {} c['city'] = k c['points'] = [] for i in range(len(v['city'])): if v['city'][i] == u'异地招聘': continue lnglat = getlnglat(v['city'][i]) # 采用构造的函数来获取经度 test = {} test['lng'] = lnglat['result']['location']['lng'] test['lat'] = lnglat['result']['location']['lat'] test['count'] = v['avg_salary'][i] c['points'].append(test) data.append(c) json.dump(data,file,ensure_ascii=False)
那么Python在不同地区薪资的待遇热力图如下，其中，越往中间颜色越深薪资越高：
从上如看出Python 的主要工作地区集中在长江三角洲、珠江三角洲一带，而北京的薪资是最高的还有几个内地城市占比也不低。
那么看一下Java在不同地区薪资的待遇热力图：
从图可以看出，Java工作地点同样是集中于那三带地区，不过相比于Python，他的主要工作地点更多，且最高薪资大多集中在珠江三角洲。
再看一下大数据在不同地区薪资的待遇热力图：
目测大数据和Java分布差别不大，不过从图中红色区域分布可以看出，大数据的薪资更高。
最后看一下安卓在不同地区薪资的待遇热力图：
安卓的工作分布低于其他的几种（比Python略高点），而且薪资也也不如其他的几门语言。
从上述四个热力图分析不难看出：
1、大数据无论是工作地点还是薪资均高于其他三种职业；
2、Python火则火矣，薪资也不低，但工作地点还是太少；
3、Java仍旧是宝刀未老，其工作地点和薪资也仅次于大数据行业；
4、安卓终究过时了，薪资比不上其他三个职业，也就工作地点要比Python多点；
由此观之，大数据的发展空间是最大的，前途也是最好的，Java仍然是不二的选择，Android已过时，Python还待发展。
再看一下4种职位的岗位分析图
先看Python岗位的代码：
# -*- coding: utf-8 -*- import pandas as pd import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['kaiti'] df = pd.read_csv('./data/job_python.csv',encoding='utf-8') s = df['jobname'].value_counts() job = s[s>150] plt.pie(x =job.values,labels=job.index,autopct='%2.1f%%') plt.show()
其他的同理，最后得到饼图：
Python：
Java：
大数据：
安卓：
最后来看一下Python语言的职能类型词云，代码：
# -*- coding: utf-8 -*- import pandas as pd df1 = pd.read_csv('./data/job_python.csv',encoding='utf-8') df2 = pd.read_csv('./data/zhaoping.csv', encoding='utf-8') df = pd.merge(df1,df2,on=list(df1.columns)) df = df[~df['job_info'].isna()] dfpy = df[df['job_info'].str.contains('python')] s = dfpy['job_type'].str.split(',').sum() # print pd.Series(s).value_counts() print s # 绘制词云图： from wordcloud import WordCloud import matplotlib.pylab as plt wl = " ".join(s) generate = WordCloud( # 'C:/Users/Windows/fonts/msyh.ttf' font_path = 'C:/Users/Windows/fonts/msyh.ttf', background_color='white', max_words=30, prefer_horizontal = 0.8, random_state=88 ).generate(wl) plt.figure(figsize=(8,5)) plt.imshow(generate) plt.axis("off") # plt.savefig(u'../day5-2/黑卡词云图.png') plt.show()
其他职业的也大致如此.
Python：
Java：
大数据：
安卓：
