•熟练掌握python语言,在多个大型爬虫项目中,凭借对python语言特性的深刻理解,实现了高效的数据处理与算法逻辑。
•掌握卷积神经网络CNN开发,可以训练识别验证码模型。
•深度掌握Scrapy 框架,熟练使用selenium技术结合爬虫使用,模拟人为浏览器操作绕过监测爬虫手段,掌握splash技术,结合scrapy解决网站动态数据无法获取的情况,掌握redis分布式爬虫,提高爬虫效率。
•熟悉 BeautifulSoup 库,能够灵活运用其进行网页数据的快速解析,在小型项目或临时数据抓取任务中,通过 BeautifulSoup 与 Python 的 requests 库结合,快速搭建数据采集脚本
•精通Java 语言,能够运用 Java 开发简单的数据处理与网络请求程序,曾在项目中,使用 Java 开发数据清洗脚本,辅助主爬虫项目完成数据预处理工作。
•熟练掌握spring boot、spring cloud、MyBatis 等框架,熟练MySQL数据库。
精通Linux运维,可以搭建Linux系统环境,如yum、gcc、perl、openssh、cmake、MySQL、redis、python3、RabbitMQ、minio、ntp 、mongodb,熟练部署运维部署爬虫项目和Java项目。
1、招投标系统
项目简介:获取招投标网站的数据,并对招投标数据进行处理分析,帮助公司内部人员快速投标
技术栈:scrapy、selenium、splash,IP代理、redis分布式爬虫、ocr识别、mysql、xpath
角色:后端开发+爬虫
2、智慧园区
项目简介:打造一个智慧化的园区,包含访客、门禁、道闸、监控、节能等为一体的园区管理系统
技术栈:springboot、redis、JavaScript、mybatis、nginx、rabbitmq、mysql
角色:后端开发+架构
3、数字防疫
项目简介:利用大数据、物联网等数字技术,构建一套智能化的疫情防控系统,以实现疫情信息的快速采集、分析和共享,提高疫情防控的效率和精准度
技术栈:spring cloud、redis、mybatisplus、nginx、rabbitmq、mysql、minio
角色:后端开发+运维
4、全国技能大赛视联网监控系统
项目简介:收编3000多路摄像头,集中大屏展示参赛选手比赛画面,实时存储视频资料
技术栈:spring cloud、redis、mybatisplus、nginx、rabbitmq、mysql、minio、ntp、mongodb
角色:后端开发+运维
交通管理AI劝导系统驾驶舱通过实时监控、告警分析和地图展示等功能,为交通管理人员提供了一个全面、高效的管理平台。它不仅能够实时监控交通状况,还能通过AI技术进行智能告警和数据分析,帮助用户快速响应和处理交通事件,提升交通管理的效率和准确性。 设备概况: 显示设备总数、在线设
一、小程序: (1)出入证预约 (2)请假申请 (3)会议室申请 二、Web端 (1)电子通行证管理 (2)人力资源管理 (3)车辆管理 (4)监控管理 (5)告警管理 (6)设备管理 (7)员工管理 (8)驾驶舱