. 爬虫与数据采集
精通大规模分布式爬虫架构(Scrapy+Redis/Selenium集群)
掌握反爬对抗技术:IP代理池(住宅/数据中心IP)、浏览器指纹伪装、验证码识别(Tesseract/商业API)
复杂网站逆向工程能力:AST解析JavaScript混淆、APP协议逆向(Charles/Frida)
2. 云架构与数据库
AWS/GCP全栈解决方案:EC2自动伸缩组 + RDS + S3 + Lambda无服务架构
数据库优化:PostGIS地理数据处理、Elasticsearch百万级实时检索、Redis缓存穿透解决方案
数据流水线设计:Airflow调度 + Kafka消息队列
3. 智能营销系统开发
第三方API深度集成:Twilio(短信)、Mailgun(邮件)、Meta Marketing API(FB/IG广告)
用户画像构建:基于spaCy的NLP实体识别、Scikit-learn聚类算法
合规方案设计:GDPR/CCPA数据脱敏、TCPA短信发送频率控制
4. 高并发系统架构
微服务容器化:Docker + Kubernetes集群管理(AWS EKS)
性能优化:Locust压力测试、SQL查询优化、Nginx负载均衡
容灾方案:多AZ部署、S3版本控制、数据库主从复制
5. 地理数据处理专长
坐标系转换:WGS84/GCJ02/BD09互转
地理围栏技术:PostGIS空间查询(ST_Contains)
地图API开发:Mapbox GL JS可视化、Google Geocoding集成
日均爬取10万+谷歌地图商家数据
基于地理围栏的自动化EDM营销(开信率38%)
动态代理池降低封IP率至<0.1%
通过AWS批处理实现$0.04/千条短信成本