爬取就业市场咨询数据
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。
案例介绍
项目描述
该项目是指运用科学的方法和手段，根据用就业市场调查所提供的数据和资料和对各种就业网站爬取的数据，来对机器学习模型进行训练，使该模型具有预测分类的功能，然后用该模型来对用户就业提供咨询。
个人职责：
1、采用Scrapy 框架、Scrapy-redis、Requests、Aiohttp、Selenium 等库，采集各地区婚恋网站，将数据存在hdfs 集群中。
2、搭建Hadoop 集群环境搭建，用hdfs 系统存储海量数据的用户信息。
3、运用matplotlib 可视化工具，对数据进行探索分析、查看特征关系。
4、通过pandas 等工具对采集数据进行清洗。
5、基于对处理好的数据样本进行样本选择、特征工程，模型选择与评估，并对该系统进行测试、调参。
6、运用该模型和公司里的数据资源给用户提供咨询。
该项目是指运用科学的方法和手段，根据用就业市场调查所提供的数据和资料和对各种就业网站爬取的数据，来对机器学习模型进行训练，使该模型具有预测分类的功能，然后用该模型来对用户就业提供咨询。
个人职责：
1、采用Scrapy 框架、Scrapy-redis、Requests、Aiohttp、Selenium 等库，采集各地区婚恋网站，将数据存在hdfs 集群中。
2、搭建Hadoop 集群环境搭建，用hdfs 系统存储海量数据的用户信息。
3、运用matplotlib 可视化工具，对数据进行探索分析、查看特征关系。
4、通过pandas 等工具对采集数据进行清洗。
5、基于对处理好的数据样本进行样本选择、特征工程，模型选择与评估，并对该系统进行测试、调参。
6、运用该模型和公司里的数据资源给用户提供咨询。
爬取就业市场咨询数据
联系该工程师
微信扫码，建群沟通
案例介绍
项目描述
该项目是指运用科学的方法和手段，根据用就业市场调查所提供的数据和资料和对各种就业网站爬取的数据，来对机器学习模型进行训练，使该模型具有预测分类的功能，然后用该模型来对用户就业提供咨询。
个人职责：
1、采用Scrapy 框架、Scrapy-redis、Requests、Aiohttp、Selenium 等库，采集各地区婚恋网站，将数据存在hdfs 集群中。
2、搭建Hadoop 集群环境搭建，用hdfs 系统存储海量数据的用户信息。
3、运用matplotlib 可视化工具，对数据进行探索分析、查看特征关系。
4、通过pandas 等工具对采集数据进行清洗。
5、基于对处理好的数据样本进行样本选择、特征工程，模型选择与评估，并对该系统进行测试、调参。
6、运用该模型和公司里的数据资源给用户提供咨询。
案例图片
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
