酒店数据闭环系统
公 司:去哪儿网
开发环境:Linux + Nginx + Tomcat + Spring + Redis + PG + RPC + cassandra + hystrix
开发工具:Eclipse
担任职位:项目负责人
项目人数:6人
项目描述:
² 实现对不同代理商的酒店列表、酒店INFO、酒店房型房描等数据抓取;
² 实现对多个站点能够并行抓取;
² 实现对同一代理商站点并发访问及防止对方封IP进行有效控制;
² 实现能够对代理商站点数据的抽取、校验;
² 应对代理商站改版带来的数据风险;
职责描述:
² 负责系统总体设计(调度+队列服务+抓取+抽取+校验+全量校验+推送);
² 负责抓取模块的详细设计与编码;
² 负责抽取模块的详细设计与编码;
² 负责推送模块的详细设计与编码;
² 负责系统的维护;