绵绵
工程硕士 · 3年经验 · 中国民用航空飞行学院
0
累计接单
0
用户评价
1
被收藏
技术能力
具备扎实的数据工程与人工智能研发背景，长期聚焦数据挖掘、深度学习与自动化系统。技术能力覆盖从数据获取到模型落地的完整链路：在数据采集侧，熟练掌握网络爬虫技术，精通 Requests、Scrapy、Selenium 等自动化工具链，能够高效应对复杂反爬机制并完成海量异构数据的抓取与结构化处理；在数据工程侧，具备强大的大规模数据集清洗与特征工程能力，能够熟练运用 Python 与 R 进行严密的量化统计分析与数据可视化；在算法核心侧，深入掌握神经网络机制，精通 Transformer、RNN 等深度学习与序列预测模型的底层搭建、消融实验设计与性能调优；在底层算力侧，熟悉基于本地 GPU的 CUDA 训练加速与计算资源调度；同时具备扎实的后端工程开发能力，掌握 Python Web 框架与 MySQL 数据库的协同开发，熟练使用 Git 版本控制工具支撑复杂数据驱动系统的持续迭代与交付。
项目经验
项目一：飞行设备能耗预测模型架构升级与调优
1.架构重构：摒弃原有的基线模型，将核心预测网络重构为 Transformer 与 RNN 架构。利用自注意力机制有效捕捉长时间序列依赖，降低模型维护成本，预测精度显著提升。
2.数据流优化：减少高频重复的数据磁盘 I/O 读写。针对超50万条的庞大飞行数据集，采用多进程结合异步数据加载逻辑进行重写，数据吞吐量提升200%。
3.算力与性能调优：针对本地 GPU显存限制，优化张量分配与梯度累加策略，结合混合精度训练（AMP），在不损失精度的前提下将模型单轮训练耗时缩短40%。
4.监控优化：搭建自动化测试流，集成 Pearson 相关性分析与特征热力图生成，对每次模型迭代的验证集 Loss 与核心量化指标进行自动化追踪。
项目二：海量异构业务数据清洗与 MySQL 持久化迁移
1.主导开发了自动化数据管道，将数据清洗合并并保存在 MySQL 中，实现分析系统的无缝切换。
2.主导完成原始离线日志到 MySQL 的自动化数据管道迁移，涉及十余张维表转换与超50万级数据记录的结构化。
3.解决数据类型适配与脏数据问题，利用 Python/R 脚本清洗异常波动点并填补缺失值。
4.重写核心特征聚合逻辑，利用 Pandas 结合 SQLAlchemy 进行内存级的批量分组与联合查询（Merge/Join），复杂特征工程生成速度提升60%。
5.搭建数据质量监控看板，追踪每日增量数据的一致性指标与缺失率。
项目三：多源行业数据自动化采集与 API 服务化改造
1项目架构使用的技术有 FastAPI、Scrapy、Redis 等。数据库使用 MySQL 保持不变。通过解耦爬取层、解析层和接口层，实现高并发的数据供应。
2参与调研整理目标网站的反爬策略与业务数据结构，着重处理动态渲染页面与高频请求限流的特有逻辑。
3参与搭建核心项目，完成任务调度队列、代理池轮询、数据清洗去重等核心模块的 Python 代码开发。
4设计高并发接口方案，使用 FastAPI 框架将清洗入库的核心指标封装为 RESTful API 服务，供前端或下游业务线直接调用。
5增加监控和埋点，对分布式爬虫节点的存活状态、任务失败率以及对外 API 接口的 P99 耗时进行实时监控并及时告警。
1.架构重构：摒弃原有的基线模型，将核心预测网络重构为 Transformer 与 RNN 架构。利用自注意力机制有效捕捉长时间序列依赖，降低模型维护成本，预测精度显著提升。
2.数据流优化：减少高频重复的数据磁盘 I/O 读写。针对超50万条的庞大飞行数据集，采用多进程结合异步数据加载逻辑进行重写，数据吞吐量提升200%。
3.算力与性能调优：针对本地 GPU显存限制，优化张量分配与梯度累加策略，结合混合精度训练（AMP），在不损失精度的前提下将模型单轮训练耗时缩短40%。
4.监控优化：搭建自动化测试流，集成 Pearson 相关性分析与特征热力图生成，对每次模型迭代的验证集 Loss 与核心量化指标进行自动化追踪。
项目二：海量异构业务数据清洗与 MySQL 持久化迁移
1.主导开发了自动化数据管道，将数据清洗合并并保存在 MySQL 中，实现分析系统的无缝切换。
2.主导完成原始离线日志到 MySQL 的自动化数据管道迁移，涉及十余张维表转换与超50万级数据记录的结构化。
3.解决数据类型适配与脏数据问题，利用 Python/R 脚本清洗异常波动点并填补缺失值。
4.重写核心特征聚合逻辑，利用 Pandas 结合 SQLAlchemy 进行内存级的批量分组与联合查询（Merge/Join），复杂特征工程生成速度提升60%。
5.搭建数据质量监控看板，追踪每日增量数据的一致性指标与缺失率。
项目三：多源行业数据自动化采集与 API 服务化改造
1项目架构使用的技术有 FastAPI、Scrapy、Redis 等。数据库使用 MySQL 保持不变。通过解耦爬取层、解析层和接口层，实现高并发的数据供应。
2参与调研整理目标网站的反爬策略与业务数据结构，着重处理动态渲染页面与高频请求限流的特有逻辑。
3参与搭建核心项目，完成任务调度队列、代理池轮询、数据清洗去重等核心模块的 Python 代码开发。
4设计高并发接口方案，使用 FastAPI 框架将清洗入库的核心指标封装为 RESTful API 服务，供前端或下游业务线直接调用。
5增加监控和埋点，对分布式爬虫节点的存活状态、任务失败率以及对外 API 接口的 P99 耗时进行实时监控并及时告警。
立即沟通
