lengend123_77254
研究生
- 公司信息：
- 某985
- 工作经验：
- 3年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日远程
- 所在区域：
- 广州
- 番禺
技术能力
某985在校研究生，善于数据挖掘，数据分析，数据爬虫，空余时间较多，赚点外快。
Python中re、requests、beautifulSoup等库的熟练使用，Python爬虫框架Scrapy的熟练使用，Python爬虫伪装中代理IP、UserAgent的熟练使用，Python与scrapyt-redis分布式爬虫的基本使用能熟练掌握
Python科学计算生态工具包（Numpy，Scipy，Pandas，Scikit-Learn 等）,并结合Hive,Hbase，Redis，Spark 做数据挖掘以及工程化。
熟悉各种常用机器学习模型，熟悉数据处理分析技术，并亲手实现过神经网络，随机森林，adaboost 等。
项目经验
商品点击预测项目
利用pyspark读取、合并超过100GB的商品以及用户点击数据，并且进行数据清洗，如剔除异常数据点
根据word2vec模型提取商品中的文本信息，构建词向量特征；使用SMOTE解决非平衡数据的问题
使用python训练xgboost+lr分类模型，并通过交叉验证对模型进行调参优化
分布式爬虫爬取北京市企业信用信息网
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
相似人才推荐
-
1000元/天高级软件工程师东方通信概要：自助终端开发，activity控件开发，c c++ java 等 自助终端开发，activity控
-
1000元/天数据分析工程师师飞牛网概要：精通R语言，会用R语言做数据获取(爬虫或者调api接口)，数据整理分析，挖掘建模，模型部署。会用py
-
2000元/天研发总监青云QingCloud概要：在 Red Hat 工作过 6 年，Cloud BU 高级虚拟化研发工程师；青云QingCloud
-
500元/天爬虫开发工程师白星科技概要：各类网站爬取 结构和非结构数据提取，存储 反爬机制破解：浏览器限制，验证码，js加密，封ip，封
-
500元/天学生西电概要：学习计算机专业，专业基础扎实； 熟悉C/C++，Java，python等语言，数据结构基本知识掌握
-
500元/天高级软件算法工程师保密概要：本人长期从事软件开发工作，精通C、C++、C#等编程语言。 目前致力于图像处理、机器视觉、机器学习
-
1500元/天高级DBA51信用卡概要：技术开发、技术转让、技术推广、技术服务、技术咨询；计算机系统服务；数据处理（仅限于PUE值在1.5以
-
500元/天学生南开大学概要：有开发和从事与Linux，C++，python，matlab，ROS，unity相关的工作和项目，具
