爬虫核心工具
请求库：Python Requests、Scrapy、aiohttp（异步）
动态页面处理：Selenium、Playwright、Puppeteer（无头浏览器）
解析库：BeautifulSoup、lxml、PyQuery（HTML/XML解析）
反爬对抗
IP代理池（付费/自建）、User-Agent轮换
验证码破解：OCR（Tesseract）、深度学习模型、第三方打码平台
请求频率控制：随机延时、分布式IP调度
存储与扩展
数据库：MySQL（结构化数据）、MongoDB（非结构化）、Elasticsearch（全文检索）
分布式架构：Scrapy-Redis（分布式爬虫）、Celery（任务队列）、Kafka（数据管道）
云服务：AWS Lambda（无服务器定时任务）
后端
后端技术
权限控制：RBAC（角色权限）、JWT（无状态认证）、OAuth2.0（第三方登录）
日志与审计：ELK（Elasticsearch+Logstash+Kibana）
工作流引擎：Camunda、Activiti（业务流程自动化）
管理平台
物联网
设备与通信
硬件开发：Arduino（原型）、ESP32（WiFi/BLE）、Raspberry Pi（边缘计算）
通信协议：MQTT（轻量级发布订阅）、CoAP（受限设备）、LoRaWAN（长距离低功耗）
边缘计算：AWS IoT Greengrass、EdgeX Foundry（本地数据处理）
数据与云平台
时序数据库：InfluxDB、TimescaleDB（时间序列数据存储）
云服务：AWS IoT Core、阿里云IoT平台（设备管理）
数据处理：Apache Kafka（实时流）、Flink（流批一体）
安全与运维
设备认证：X.509证书、双向TLS加密
OTA升级：Azure IoT Hub（远程固件更新）
异常检测：机器学习（TensorFlow Lite嵌入式模型）

1.进销存，产品管理，进货单管理，销货单管理（销货流水），仓库管理，客户管理，经销商管理，职员职位配置（权限配置），等七个模块，并实现pdf及xlsx导出。项目技术栈：后端django 前端vue
2.房地产投资公司采集的大众点评及百度地图数据进行处理、融合之后的十几万条数据。采集框架：scrapy采用分布式采集方式
3.检查员端1.需检查业主列表1.不同检查员分配不同业主2.标注每天是否检查情况防止遗漏2.业主燃气检查1.拍照记录2.文字记录3.业主签字4.根据业主手机验证码提交检查记录手机验证码有主于防止业务员不到位，上传假照片验证码由第三方发送，可有力证明检查日期5.标注检查情况，方便3.检查列表1.标注检查状态，便于追踪2.标注后台审核状态3.可按天查询，便于追踪业绩2.后台1.业主管理增删查改2.检查员管理1.增删查改2.指派客户3.检查表管理1.审核业务员提交的检查表，便于追踪问题2.产看检查员的出勤情况4.检查员绩效核算根据每天的检查完成情况核算