1,根据 UI 设计师,实现前端展示,开发模块,由于公司前台运营主要靠 google SEO 获取流量,所以对网站
的加载速度要求,并且不能使用一些异步框架,扩展性要求也很高,所以前台用到的技术栈(原生 PHP + Smarty
+ Redis 缓存模版)
2,使用 python scrapy 框架开发分布式爬虫框架,并实践部署在线上,现在已经可以每天爬取 10w+数据页面,研
究反扒机制,提高爬虫效率。
3,公司联盟返现业务,开发出一套跳转系统,后台脚本开启守护进程,同时开启多个 node 提供服务,所有的
日志数据都写入到 redis 中,最后持久化到 Mysql
业绩:
1,前台导购网站运营从 200k 的流量,上涨到 1.5M 流量,目前稳定在 800k 左右(www.hotdeals.com)
2,后台系统模块化开发,一般是根据编辑进行工具上面的优化,开发一些新的功能
3,分布式开发爬虫结构,分析页面数据并整理入库,提高爬虫的效率,维护分析脚本
4,使用 react 前端框架开发一套工具聚合系统,公司所有的工具都集成在这套系统
5,带过实习生,负责过完整项目的实施。