在数据采集与爬虫开发方面,我成功完成多个高复杂度项目:
- 大麦演唱会门票信息采集:使用Python(Scrapy + Requests)构建自动化爬虫,绕过反爬机制(IP限制、动态加载),实时监控票务数据并存储至MySQL,结合邮件/Telegram Bot推送开票提醒,助力用户抢票。
- VIP歌曲与视频爬取:通过逆向分析音频/视频流媒体协议(如M3U8、AES加密),利用FFmpeg + 多线程下载技术,实现高效资源获取,并搭建自动化归档系统。
在Web开发领域,我主导开发了高校论坛系统:
- 采用Django + Vue.js 实现前后端分离架构,集成用户认证、实时评论、文件上传及Elasticsearch全文检索功能。
- 通过Redis优化高并发场景(如热门帖子访问),并设计自动化敏感词过滤机制,提升社区合规性。
我的技术能力覆盖数据采集、存储、清洗、分析及Web系统开发全流程,擅长结合业务需求提供高性能、可扩展的解决方案。