在“竞品猎手”项目中,担任了项目核心开发工程师。以下是这项目中负责的具体工作: 1. 技术选型与框架搭建:选择了Scrapy作为主要的爬虫框架,因为它的高效性和灵活性能够满足我们对大规模数据抓取的需求。同时,负责搭建项目的基本架构,包括爬虫的分布式部署、数据存储方案以及异常处理机制。 2.爬虫开发与优化:开发了多个针对不同竞品网站的爬虫,负责编写爬虫代码,处理页面解析、数据抽取和持久化存储。针对反爬虫策略,设计了相应的绕过方案,如IP代理池、User-Agent轮换、请求频率控制等,确保爬虫的稳定运行。 3.数据清洗与处理:为了保证数据的准确性和可用性,编写了一系列的数据清洗脚本,对抓取...
利用uni-app框架结合uView UI库,成功开发了一款面向微信平台的机票分销小程序。该项目不仅实现了机票的查询、比价、预订及售后服务功能,还通过以下关键业绩点,为公司带来了显著的业务价值和技术创新: 1. 跨平台优势: 借助uni-app的强大能力,实现了小程序一次编写,多平台发布(虽主要聚焦于微信平台,但保留了未来扩展至其他平台的可能性),提高了开发效率和产品灵活性。 2. 交互逻辑与数据绑定:编写了复杂的交互逻辑,包括机票查询、预订、支付等流程的实现,实现了前端与后端的数据交互,包括接口请求、数据解析和错误处理等。 3. 用户体验优化: 深度集成uView UI框架,打造了符合...
项目描述:一个旅游网站,访客可以进行搜索、查询旅游景点、旅游城市、景点类别等信息,并可以通过注册、登录功能进入个人页面并发表 旅游攻略、评论和购买门票等。 使用技术:html5、css3、js、ssm、springMVC、Spring Session、MySQL、拦截器 1. 通过 Spring Controller、SpringMVC、SpringBean 实现后端控制层代码,使用 IOC 容器进行 SpringBean 注入并通过 @RequestMapping 与 html 页面进行交互。 2. 使用 Thymeleaf 框架向页面传入后台参数,并运用 Validation 注解...