熟悉Python语法，3年以上python语言开发经验
熟练使用Linux开发环境，以及常用的Linux命令
熟悉HTTP/HTTPS协议、TCP/UDP、熟悉Socket，熟悉Shell脚本编程
熟练使用requests、re、以及xpath进行数据提取
熟悉使用基于多进程、多线程、协程编写高并发爬虫
熟悉使用asyncio、aiohttp编写高效率的异步爬虫
熟练使用Selenium自动化测试工具，实施动态HTML抓取
熟悉Scrapy及Scrapy-Redis分布式框架
熟练Flask框架下的相关业务接口开发
熟悉应用MongoDB、Redis、MySQL数据库设计及SQL语句
熟悉使用git分布式版本控制系统
熟悉HTML、CSS、Javascript等
熟悉TensorFlow、PyTorch深度学习框架，了解scikit-learn机器学习框架
熟悉numpy，pandas，matplotlib等框架的使用

2019/5-2019/6抖音爬虫 --- 抓取抖音好物榜所属公司：
杭州粉象家科技有限公司
项目描述：
该数据抓自：抖音App—搜索—人气榜单—好物榜，抓取分为： 1.人气好物，更新时间（每天中午12:00）；2.分类榜单（每个榜单只有Top10），精品女装，潮流男装，美妆个护，食品饮料，母婴用品，3C数码。抓取视频链接、抖音描述，点赞数，评论数，转发数，以及对应的淘宝商品，该爬虫分为两步，第一步获取商品列表页，这一步需要cookie，第二步根据提取出来的抖音商品id获取详情数据
责任描述：
1. 分析请求过程并通过代码实现，进行数据抓取
2. 负责对数据进行清洗。解析入库，并进行后续更新
3. 爬虫程序的后续维护与持续优化