算法工程师和前端工程师的社招求职分析

2021-05-23 2214 words 5 minutes

Contents

背景

从自身职业发展的角度出发，想了解一下算法工程师和前端工程师的薪酬分布情况，包括工作年限、学历、公司融资情况、公司规模、城市，以及工作岗位在地理上的分布情况。

本次报告只是在拉勾网爬取近几天的 JD，只能简单做一个玩具版的分析，后期可定期爬取数据，复用相同的预处理方式和代码做完整的求职分析。

用后羿采集器采集拉勾网的招聘数据，根据需求对数据做一些限定。

智能爬取模式对网页元素的定位可能会有问题，例如将拉勾网招聘条目的标签分开。在后羿采集器中合并标签，并在数据处理功能中删除换行。

后羿采集器支持批量爬取，最后爬取了北京/上海/杭州三地的「前端」和「算法」两个岗位的招聘信息。如果直接用「算法工程师」筛选，会遗漏一些招聘，用「算法」筛选会把类似「算法讲师」包含进来，所幸无关数据不多，可预处理的时候删除。

导出数据，再把 Excel 文件里面的「,」换成「、」，之后导出 CSV 格式。

去重之后只有 1844 条记录，可以直接用 VSCode 打开，用正则表达式来清洗数据。主要是将工作经验、学历、薪酬、融资情况、公司规模和行业这些字段拆分出来，把薪酬变成数字的格式。处理后的部分结果如下。

用 pandas 读取 csv 文件，数据很完整，只有标签字段有数据缺失，影响分析。

对数据进行分组统计，计算每组数据的个数，个数太少的分组可以剔除。

过滤掉工作经验「1 年以下」和公司规模「少于 15 人」的记录。再去掉「不限」学历。

不同城市的工作机会分布

3-5 年经验是拉勾网社招的招聘热门。

算法工程师的学历起点是本科，前端工程师大部分招聘也都要求本科。

上市公司释放的岗位较多，猜测互联网以外的行业也开始大量招聘程序员了。

规模越大的公司释放的岗位越大，小公司的数量不足以弥补规模上的差距。

相同工作经验，相同城市，算法工程师的薪酬大约比前端工程师高 60%，猜测其中可能的原因除了岗位本身的差异，还有两种岗位的学历要求不一样，还需要限定学历条件来分析。
前端工程师，相同工作年限，不同城市的薪酬存在差异
- 最低和最高薪酬方面，1-3 年，均是北京>上海>=杭州
- 最低和最高薪酬方面，3-10 年，均是北京>上海=杭州
算法工程师，相同工作年限，不同城市的薪酬也出现差异
- 最低和最高薪酬方面，1-10 年，均是上海>=北京>杭州，出乎意料上海的薪酬比北京略高，背后原因有待挖掘。
随着工作年限的增长，薪酬有所增长，但 1-3 年到 5-10 年的涨幅不到一倍，且薪酬上限平均值全场最高的上海 5-10 年算法工程师也只有不到 60K。猜测资深工程师（P6+）及以上级别的招聘渠道可能主要走其他招聘渠道。