1. 爬虫开发
技术栈:Python(Scrapy/Selenium)、HTTP协议解析、反爬策略应对(代理IP池、请求头伪装)、数据清洗与存储(MySQL/MongoDB)。
应用场景:
实现自动化数据采集(如电商价格监控、新闻资讯抓取),通过动态渲染技术突破网页防爬机制;
结合分布式架构(如Scrapy-Redis)提升抓取效率,确保海量数据的实时性与完整性;
针对验证码、IP封禁等复杂场景,设计多策略应对方案(OCR识别、行为模拟)。
2. 图像识别算法
技术栈:C++/Python(OpenCV、TensorFlow/PyTorch)、目标检测(YOLO、SSD)、图像增强与降噪、深度学习模型优化。
3. 网站全栈开发:从前端到后端的闭环构建
技术栈:前端(React/Vue.js + Element UI/Ant Design)、后端(Node.js/Django/Spring Boot)、数据库(MySQL/MongoDB)、云服务(AWS/Azure)。
1.爬取bilibili的评论筛选出需要的数据,并通过模拟真人操作,实现最大程度的仿真访问,提高爬虫的隐匿性。
2.爬取今日头条及抖音美团等平台的特定信息量,如特定词条下检索出的内容中呈现的点赞量、转发量、评论内容。
3.依靠AI工具做辅助在游戏中实现特定图像内容识别,识别结果并以此完成游戏内的特定操作。
4.网站全栈开发
暗黑破坏神4自动打怪及拾取装备脚本 通过图像识别游戏中特定的装备及物品,对电脑及程序下达操作指令,完成目标 我负责图像识别模块,识别怪物类型以及物品类型,还有整个玩家可见UI的识别 网页及APP内容文档树的查询及筛选(爬虫) 我负责清洗网页文档及筛选目标内
暗黑破坏神4自动打怪拾取装备升级脚本 脚本通过识别目标图像内容向游戏内下达操作指令,完成拾取装备及打怪等操作 我负责图像识别模块,识别游戏内的装备及物品特征,生成指令集,传递给执行部
爬取链家房产的房源信息并提交给客户 我负责全栈开发,从清洗网页文档数据到提取有效信息,生成信息集中文档