杰
算法工程师，后端工程师，大数据工程师
深圳都市交通研究院 · 11年经验
日薪：
￥500/8h
地点：
北京 海淀
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 大数据分布式开发
熟练搭建 CDH 大数据集群，精通 Hadoop、Hive、Spark、MapReduce、HBase、Flume、Sqoop、Oozie、ZooKeeper 全套离线计算组件；掌握多源数据采集、ETL 清洗、数仓分层建模、SparkSQL 多维指标计算；可完成 GPS、IC 卡、手机信令海量交通数据处理，具备大数据任务调度、数据倾斜调优实战经验。
2. 编程语言与后端开发
主力：Python、Java，熟练使用 Pandas、Sklearn 做数据挖掘分析；
Web 后端：Spring、Spring Boot、SpringMVC、MyBatis 微服务开发；
前端：Vue 框架，可配合 GeoServer 完成交通地理数据可视化大屏；
脚本工具：Shell、Maven、Git、SVN，Linux 系统运维操作。
3. 数据库与中间件
关系型：MySQL、PostgreSQL，精通 SQL 查询、多表关联、性能优化；
中间件：Kafka、Redis、Nginx、Eureka、ZipKin 微服务配套组件；
地理空间：GeoServer 空间数据处理、交通路网可视化。
4. 数据挖掘、算法与 AI 基础
掌握常见排序、动态规划、贪心算法；独立实现公交上下车识别、客流 OD、职住平衡出行分析算法；熟悉机器学习基础模型，可完成数据聚类、特征挖掘、出行行为预测分析。
5. 软件与工程能力
熟悉需求分析、开发、测试、部署完整流程；独立负责中小型大数据项目全链路开发，具备单人承接数据分析项目交付能力；擅长数据指标体系设计、报表统计、业务数据落地输出。
6. 证书资质
计算机软考中级（工程师职称）、高级软件工程师。
熟练搭建 CDH 大数据集群，精通 Hadoop、Hive、Spark、MapReduce、HBase、Flume、Sqoop、Oozie、ZooKeeper 全套离线计算组件；掌握多源数据采集、ETL 清洗、数仓分层建模、SparkSQL 多维指标计算；可完成 GPS、IC 卡、手机信令海量交通数据处理，具备大数据任务调度、数据倾斜调优实战经验。
2. 编程语言与后端开发
主力：Python、Java，熟练使用 Pandas、Sklearn 做数据挖掘分析；
Web 后端：Spring、Spring Boot、SpringMVC、MyBatis 微服务开发；
前端：Vue 框架，可配合 GeoServer 完成交通地理数据可视化大屏；
脚本工具：Shell、Maven、Git、SVN，Linux 系统运维操作。
3. 数据库与中间件
关系型：MySQL、PostgreSQL，精通 SQL 查询、多表关联、性能优化；
中间件：Kafka、Redis、Nginx、Eureka、ZipKin 微服务配套组件；
地理空间：GeoServer 空间数据处理、交通路网可视化。
4. 数据挖掘、算法与 AI 基础
掌握常见排序、动态规划、贪心算法；独立实现公交上下车识别、客流 OD、职住平衡出行分析算法；熟悉机器学习基础模型，可完成数据聚类、特征挖掘、出行行为预测分析。
5. 软件与工程能力
熟悉需求分析、开发、测试、部署完整流程；独立负责中小型大数据项目全链路开发，具备单人承接数据分析项目交付能力；擅长数据指标体系设计、报表统计、业务数据落地输出。
6. 证书资质
计算机软考中级（工程师职称）、高级软件工程师。
项目经验
项目 1：城市公交大脑大数据平台
技术栈：CentOS7.2、CDH5.12、Hadoop、Spark、Hive、Flume、Kafka、MySQL、PostgreSQL、Redis、SpringCloud 微服务、Vue、GeoServer
项目背景
面向多城市公交集团打造一体化智慧交通平台，整合 GPS 车辆轨迹、IC 刷卡客流、线路路网多源数据，提供客流分析、智能排班、线网优化能力，已落地贵阳、深圳、西安、宁波 4 座城市。集群 6 台服务器，日处理千万级交通原始数据。
个人职责
多源数据采集与 ETL：通过 Socket 实时拉取车辆 GPS 流，脚本同步 IC 卡刷卡数据，Flume 采集落地 HDFS；基于 MapReduce 完成数据清洗，自研上下车识别、到站判别、客流换乘算法，统一构建 GPS、IC、线路三层标准底表。
离线数仓与指标计算：使用 Hive/SparkSQL 搭建数仓分层，开发客流概览、站点客流、时段出行、营收统计等多维指标，计算结果同步至 MySQL 供 Web 业务调用。
智能排班模块开发：基于历史客流数据构建发车优化模型，自动生成车辆运营排班表，降低人工调度成本。
微服务后端开发：参与 16 个业务微服务编码，对接前端 Vue 可视化页面，完成客流大屏、报表统计接口开发。
项目成果
平台上线后公交集团人工排班效率大幅提升，客流数据可视化支撑交通线网优化决策，稳定承载城市每日千万级交通数据离线计算。
项目 2：成都高新南区公共交通数据分析
技术栈：CDH、Hadoop、SparkSQL、MapReduce、MySQL、Linux
项目背景
针对高新区公交出行数据开展专项分析，输出出行 OD、时段客流、换乘量、职住分布分析报告，支撑区域公交规划调整。
个人职责
项目独立负责人，全流程自主完成：原始数据接入、MR 异常数据清洗、SparkSQL 多维度统计计算，输出标准化分析数据集与结论报表，交付规划部门直接使用。
项目 3：西安手机信令出行期望分析项目
技术栈：CDH、Spark、Hive、MySQL
项目背景
基于手机信令数据划分 500㎡交通小区，挖掘城市人口潮汐流动、职住平衡特征，辅助城市公共交通规划。日清洗数据约 1GB。
个人职责
负责全量数据清洗、小时级人口动向计算、居住 / 就业人群溯源指标开发，输出分时段人口分布数据，支撑可视化模块展示城市通勤规律。
项目 4：深圳市公交协同管理系统（二期案件闭环）
技术栈：Linux、SpringMVC、MyBatis、MySQL、Maven
项目背景
在一期公交信息管理系统基础上，新增群众乘车问题线上上报、分拨、整改、考核全流程闭环功能。
个人职责
独立负责乘车拥挤业务模块开发，实现同线路同类问题自动合并立项、案件流转、整改验收、月度考核统计完整业务逻辑，完成后端接口、数据库表设计与功能自测交付。
技术栈：CentOS7.2、CDH5.12、Hadoop、Spark、Hive、Flume、Kafka、MySQL、PostgreSQL、Redis、SpringCloud 微服务、Vue、GeoServer
项目背景
面向多城市公交集团打造一体化智慧交通平台，整合 GPS 车辆轨迹、IC 刷卡客流、线路路网多源数据，提供客流分析、智能排班、线网优化能力，已落地贵阳、深圳、西安、宁波 4 座城市。集群 6 台服务器，日处理千万级交通原始数据。
个人职责
多源数据采集与 ETL：通过 Socket 实时拉取车辆 GPS 流，脚本同步 IC 卡刷卡数据，Flume 采集落地 HDFS；基于 MapReduce 完成数据清洗，自研上下车识别、到站判别、客流换乘算法，统一构建 GPS、IC、线路三层标准底表。
离线数仓与指标计算：使用 Hive/SparkSQL 搭建数仓分层，开发客流概览、站点客流、时段出行、营收统计等多维指标，计算结果同步至 MySQL 供 Web 业务调用。
智能排班模块开发：基于历史客流数据构建发车优化模型，自动生成车辆运营排班表，降低人工调度成本。
微服务后端开发：参与 16 个业务微服务编码，对接前端 Vue 可视化页面，完成客流大屏、报表统计接口开发。
项目成果
平台上线后公交集团人工排班效率大幅提升，客流数据可视化支撑交通线网优化决策，稳定承载城市每日千万级交通数据离线计算。
项目 2：成都高新南区公共交通数据分析
技术栈：CDH、Hadoop、SparkSQL、MapReduce、MySQL、Linux
项目背景
针对高新区公交出行数据开展专项分析，输出出行 OD、时段客流、换乘量、职住分布分析报告，支撑区域公交规划调整。
个人职责
项目独立负责人，全流程自主完成：原始数据接入、MR 异常数据清洗、SparkSQL 多维度统计计算，输出标准化分析数据集与结论报表，交付规划部门直接使用。
项目 3：西安手机信令出行期望分析项目
技术栈：CDH、Spark、Hive、MySQL
项目背景
基于手机信令数据划分 500㎡交通小区，挖掘城市人口潮汐流动、职住平衡特征，辅助城市公共交通规划。日清洗数据约 1GB。
个人职责
负责全量数据清洗、小时级人口动向计算、居住 / 就业人群溯源指标开发，输出分时段人口分布数据，支撑可视化模块展示城市通勤规律。
项目 4：深圳市公交协同管理系统（二期案件闭环）
技术栈：Linux、SpringMVC、MyBatis、MySQL、Maven
项目背景
在一期公交信息管理系统基础上，新增群众乘车问题线上上报、分拨、整改、考核全流程闭环功能。
个人职责
独立负责乘车拥挤业务模块开发，实现同线路同类问题自动合并立项、案件流转、整改验收、月度考核统计完整业务逻辑，完成后端接口、数据库表设计与功能自测交付。
案例展示 全部案例 >
杰
算法工程师，后端工程师，大数据工程师 · 11年经验 · 深圳都市交通研究院
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 大数据分布式开发
熟练搭建 CDH 大数据集群，精通 Hadoop、Hive、Spark、MapReduce、HBase、Flume、Sqoop、Oozie、ZooKeeper 全套离线计算组件；掌握多源数据采集、ETL 清洗、数仓分层建模、SparkSQL 多维指标计算；可完成 GPS、IC 卡、手机信令海量交通数据处理，具备大数据任务调度、数据倾斜调优实战经验。
2. 编程语言与后端开发
主力：Python、Java，熟练使用 Pandas、Sklearn 做数据挖掘分析；
Web 后端：Spring、Spring Boot、SpringMVC、MyBatis 微服务开发；
前端：Vue 框架，可配合 GeoServer 完成交通地理数据可视化大屏；
脚本工具：Shell、Maven、Git、SVN，Linux 系统运维操作。
3. 数据库与中间件
关系型：MySQL、PostgreSQL，精通 SQL 查询、多表关联、性能优化；
中间件：Kafka、Redis、Nginx、Eureka、ZipKin 微服务配套组件；
地理空间：GeoServer 空间数据处理、交通路网可视化。
4. 数据挖掘、算法与 AI 基础
掌握常见排序、动态规划、贪心算法；独立实现公交上下车识别、客流 OD、职住平衡出行分析算法；熟悉机器学习基础模型，可完成数据聚类、特征挖掘、出行行为预测分析。
5. 软件与工程能力
熟悉需求分析、开发、测试、部署完整流程；独立负责中小型大数据项目全链路开发，具备单人承接数据分析项目交付能力；擅长数据指标体系设计、报表统计、业务数据落地输出。
6. 证书资质
计算机软考中级（工程师职称）、高级软件工程师。
熟练搭建 CDH 大数据集群，精通 Hadoop、Hive、Spark、MapReduce、HBase、Flume、Sqoop、Oozie、ZooKeeper 全套离线计算组件；掌握多源数据采集、ETL 清洗、数仓分层建模、SparkSQL 多维指标计算；可完成 GPS、IC 卡、手机信令海量交通数据处理，具备大数据任务调度、数据倾斜调优实战经验。
2. 编程语言与后端开发
主力：Python、Java，熟练使用 Pandas、Sklearn 做数据挖掘分析；
Web 后端：Spring、Spring Boot、SpringMVC、MyBatis 微服务开发；
前端：Vue 框架，可配合 GeoServer 完成交通地理数据可视化大屏；
脚本工具：Shell、Maven、Git、SVN，Linux 系统运维操作。
3. 数据库与中间件
关系型：MySQL、PostgreSQL，精通 SQL 查询、多表关联、性能优化；
中间件：Kafka、Redis、Nginx、Eureka、ZipKin 微服务配套组件；
地理空间：GeoServer 空间数据处理、交通路网可视化。
4. 数据挖掘、算法与 AI 基础
掌握常见排序、动态规划、贪心算法；独立实现公交上下车识别、客流 OD、职住平衡出行分析算法；熟悉机器学习基础模型，可完成数据聚类、特征挖掘、出行行为预测分析。
5. 软件与工程能力
熟悉需求分析、开发、测试、部署完整流程；独立负责中小型大数据项目全链路开发，具备单人承接数据分析项目交付能力；擅长数据指标体系设计、报表统计、业务数据落地输出。
6. 证书资质
计算机软考中级（工程师职称）、高级软件工程师。
项目经验
项目 1：城市公交大脑大数据平台
技术栈：CentOS7.2、CDH5.12、Hadoop、Spark、Hive、Flume、Kafka、MySQL、PostgreSQL、Redis、SpringCloud 微服务、Vue、GeoServer
项目背景
面向多城市公交集团打造一体化智慧交通平台，整合 GPS 车辆轨迹、IC 刷卡客流、线路路网多源数据，提供客流分析、智能排班、线网优化能力，已落地贵阳、深圳、西安、宁波 4 座城市。集群 6 台服务器，日处理千万级交通原始数据。
个人职责
多源数据采集与 ETL：通过 Socket 实时拉取车辆 GPS 流，脚本同步 IC 卡刷卡数据，Flume 采集落地 HDFS；基于 MapReduce 完成数据清洗，自研上下车识别、到站判别、客流换乘算法，统一构建 GPS、IC、线路三层标准底表。
离线数仓与指标计算：使用 Hive/SparkSQL 搭建数仓分层，开发客流概览、站点客流、时段出行、营收统计等多维指标，计算结果同步至 MySQL 供 Web 业务调用。
智能排班模块开发：基于历史客流数据构建发车优化模型，自动生成车辆运营排班表，降低人工调度成本。
微服务后端开发：参与 16 个业务微服务编码，对接前端 Vue 可视化页面，完成客流大屏、报表统计接口开发。
项目成果
平台上线后公交集团人工排班效率大幅提升，客流数据可视化支撑交通线网优化决策，稳定承载城市每日千万级交通数据离线计算。
项目 2：成都高新南区公共交通数据分析
技术栈：CDH、Hadoop、SparkSQL、MapReduce、MySQL、Linux
项目背景
针对高新区公交出行数据开展专项分析，输出出行 OD、时段客流、换乘量、职住分布分析报告，支撑区域公交规划调整。
个人职责
项目独立负责人，全流程自主完成：原始数据接入、MR 异常数据清洗、SparkSQL 多维度统计计算，输出标准化分析数据集与结论报表，交付规划部门直接使用。
项目 3：西安手机信令出行期望分析项目
技术栈：CDH、Spark、Hive、MySQL
项目背景
基于手机信令数据划分 500㎡交通小区，挖掘城市人口潮汐流动、职住平衡特征，辅助城市公共交通规划。日清洗数据约 1GB。
个人职责
负责全量数据清洗、小时级人口动向计算、居住 / 就业人群溯源指标开发，输出分时段人口分布数据，支撑可视化模块展示城市通勤规律。
项目 4：深圳市公交协同管理系统（二期案件闭环）
技术栈：Linux、SpringMVC、MyBatis、MySQL、Maven
项目背景
在一期公交信息管理系统基础上，新增群众乘车问题线上上报、分拨、整改、考核全流程闭环功能。
个人职责
独立负责乘车拥挤业务模块开发，实现同线路同类问题自动合并立项、案件流转、整改验收、月度考核统计完整业务逻辑，完成后端接口、数据库表设计与功能自测交付。
技术栈：CentOS7.2、CDH5.12、Hadoop、Spark、Hive、Flume、Kafka、MySQL、PostgreSQL、Redis、SpringCloud 微服务、Vue、GeoServer
项目背景
面向多城市公交集团打造一体化智慧交通平台，整合 GPS 车辆轨迹、IC 刷卡客流、线路路网多源数据，提供客流分析、智能排班、线网优化能力，已落地贵阳、深圳、西安、宁波 4 座城市。集群 6 台服务器，日处理千万级交通原始数据。
个人职责
多源数据采集与 ETL：通过 Socket 实时拉取车辆 GPS 流，脚本同步 IC 卡刷卡数据，Flume 采集落地 HDFS；基于 MapReduce 完成数据清洗，自研上下车识别、到站判别、客流换乘算法，统一构建 GPS、IC、线路三层标准底表。
离线数仓与指标计算：使用 Hive/SparkSQL 搭建数仓分层，开发客流概览、站点客流、时段出行、营收统计等多维指标，计算结果同步至 MySQL 供 Web 业务调用。
智能排班模块开发：基于历史客流数据构建发车优化模型，自动生成车辆运营排班表，降低人工调度成本。
微服务后端开发：参与 16 个业务微服务编码，对接前端 Vue 可视化页面，完成客流大屏、报表统计接口开发。
项目成果
平台上线后公交集团人工排班效率大幅提升，客流数据可视化支撑交通线网优化决策，稳定承载城市每日千万级交通数据离线计算。
项目 2：成都高新南区公共交通数据分析
技术栈：CDH、Hadoop、SparkSQL、MapReduce、MySQL、Linux
项目背景
针对高新区公交出行数据开展专项分析，输出出行 OD、时段客流、换乘量、职住分布分析报告，支撑区域公交规划调整。
个人职责
项目独立负责人，全流程自主完成：原始数据接入、MR 异常数据清洗、SparkSQL 多维度统计计算，输出标准化分析数据集与结论报表，交付规划部门直接使用。
项目 3：西安手机信令出行期望分析项目
技术栈：CDH、Spark、Hive、MySQL
项目背景
基于手机信令数据划分 500㎡交通小区，挖掘城市人口潮汐流动、职住平衡特征，辅助城市公共交通规划。日清洗数据约 1GB。
个人职责
负责全量数据清洗、小时级人口动向计算、居住 / 就业人群溯源指标开发，输出分时段人口分布数据，支撑可视化模块展示城市通勤规律。
项目 4：深圳市公交协同管理系统（二期案件闭环）
技术栈：Linux、SpringMVC、MyBatis、MySQL、Maven
项目背景
在一期公交信息管理系统基础上，新增群众乘车问题线上上报、分拨、整改、考核全流程闭环功能。
个人职责
独立负责乘车拥挤业务模块开发，实现同线路同类问题自动合并立项、案件流转、整改验收、月度考核统计完整业务逻辑，完成后端接口、数据库表设计与功能自测交付。
案例展示
立即沟通
相似人才推荐：
其他Python爬虫初级工程师 (金川公司) ，2年经验 ，500元/天
长沙Python爬虫 (长沙某一小公司) ，3年经验 ，500元/天
北京Python后端开发工程师 (亿企云创) ，2年经验 ，500元/天
深圳Python开发工程师 (近铁国际物流（深圳）有限公司) ，2年经验 ，500元/天
西安高级Python研发工程师 (近铁国际物流（深圳）有限公司) ，4年经验 ，600元/天
其他高级python工程师 (中软国际) ，2年经验 ，500元/天
苏州java工程师/python爬虫开发 (保密) ，5年经验 ，500元/天
北京Python工程师 (中国工商银行) ，2年经验 ，500元/天
