1、分布式网络爬虫项目,应用于阿里巴巴物流部门,抓取海外物流公司的海量订单信息
技术难点:1)需给出多种解决方案解决ip限制问题,验证码问题等。2)需配套一个精准的报警系统,以应对各种事件:比如被对方网站封锁ip,换验证码、网站升级等。3)应对海量数据任务,需要自研一套高性能的分布式任务分发架构
2、规则引擎项目,应用于携程安全部门,对用户登陆,用户下单等行为检测异常
技术难点:1)需结合业务开发一套可编辑可线上更新规则的规则引擎来快速应对外部出现的一些危险:比如羊毛党、黑客等
2)由于每天数据量巨大,又是被用户登陆系统和支付系统强依赖,所以需要有非常好的性能