Web：
熟练掌握 python 编程语言，熟练掌握 OOP、多线程、多进程、协程、装饰器，正则表达式等的使用。
熟练掌握关系型数据库 MySQL 的 curd，索引，事务控制
熟练掌握内存型数据库 Redis，5 种基本数据类型
熟悉mongo，Memcached的用法。
熟练掌握 Linux 的基本命令和shell编程。
熟悉团队协作开发工具 Git。
爬虫：
熟练掌握urllib的使用，研读过部分源码，熟练掌握各种数据格式的采集和解析
熟练掌握requests，研读过部分源码，熟练掌握和分布式进程集成做分布式爬虫
熟练掌握scrapy异步框架，研读过部分源码，熟练掌握使用scrapy—redis做分布式爬虫
熟练掌握aiohttp异步请求框架
熟练掌握常见的反爬破解，如滑块验证码，js加密，封IP，封账号，Cookie ，Referer防盗链，UA 伪装等。
熟练掌握分布式爬虫的设计思想，并参与过分布式爬虫框架的设计.
熟练xpath，bs4提取网页数据
熟悉hook，Proxy，补依赖(平替)，补环境（监控），webpack，瑞数3,4，5，6（Cookie[s,t;o,p]），js混淆，js加密逆向(请求加密，响应解密)，dp，ai爬虫破解验证码
熟悉关键字搜索(1.方法关键字 2.Key 关键字 3,headers 关键字 4.路径关键字 5. 拦截器关键字(interceptors.request.use,interceptors.response.use))
大数据：
熟练掌握hdfs的分布式高可用集群搭建
熟练掌握hbase做分布式数据存储数据库，使用zk进行集群的高可用维护，happybase操作hbase，列簇
熟练掌握使用hive以sql语句形式操作hdfs集群，并使用sqoop和mysql进行数据交互，分区。
熟练掌握sprak的使用，对分布式hdfs集群上的数据进行数据清洗和合并。
熟悉 Word，Excel 等离线数据的清洗pandas、numpy。
机器学习：
熟练掌握机器学习系统设计流程，参与过大型机器学习系统设计，并且可以使用机器学习相关算法进行实际问题的处理。
熟练掌握 KNN、线性回归、逻辑回归、朴素贝叶斯、决策树，SVM支持向量机，通过核函数将低维不可分转换为高维可分等监督学习算法。
熟练掌握深度学习使用keras框架使用。
熟练掌握CNN卷积神经网络
熟练掌握BP神经网络搭建，常用激活函数tanh、relu等，dropout正则化层及神经网络的优化方案

项目描述
对珍爱网，世纪佳缘，人人网，百合网，地方婚恋网等婚恋社交类网站进行个人信息采集，爬虫是基于Scrapy-Redis 技术实现，数据基于hdfs 集群进行存储，采集数据达到5000 万。
个人职责：
1.根据网站指定不同的爬取规则及解析方式。
2.数据去重问题。解决方案：Scrapy-Redis 调度器调度策略设置去重策略
3.使用自己封装的 IP 代理池，并定期维护代理池。实现代理IP 的爬取与可用性检测
4.js逆向，请求加密，响应加密，用过关键字或方法或拦截器进行定位，找到对应的请求响应加密代码，对代码扣取代码或者webpack或有瑞数对其进行处理，补依赖，补环境，做真假值验证，爬取数据
5.对数据进行一定清理。
6.通过hive 技术实现数据入库。