后来
大数据开发工程师
重庆高速集团 · 3年经验
日薪：
￥500/8h
地点：
重庆 全区
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
▫ETL开发｜数据清洗｜实时流处理 |python爬虫
▫数仓搭建｜报表自动化｜性能优化
▫ Flink实时看板｜Hive离线分析
▫ park数据分析 scala编程 spark编程 大数据分析技术 数据分析可视化 spark sql spark dataframe spark rdd spark streaming Hadoop MapReduce
▫数仓搭建｜报表自动化｜性能优化
▫ Flink实时看板｜Hive离线分析
▫ park数据分析 scala编程 spark编程 大数据分析技术 数据分析可视化 spark sql spark dataframe spark rdd spark streaming Hadoop MapReduce
项目经验
重庆高速科创大楼数字孪生
为落实“数字中国”、“数字重庆”、“数字交通”的战略部署要求，并结合集团《加快推进“数字高速”建设的行动方案（2023-2027）》建设要求，进一步全面深化集团“数字高速” 建设，推动数字化与企业发展深度融合，以数字化促进集团治理体系和治理能力现代化。高速集团围绕“智能感知、一体协同、多跨融合、整体智治”的总体目标，建设“重庆高速智能运行中心平台”，打造集团“数字高速”建设的集中展示门户，充分展现“数字高速”的建设成果以及集团整体智治水平
1、使用FLink进行实时数据的计算分析
2、用flimkCDC进行数据采集
3、用hive、Doris进行数据存储
为落实“数字中国”、“数字重庆”、“数字交通”的战略部署要求，并结合集团《加快推进“数字高速”建设的行动方案（2023-2027）》建设要求，进一步全面深化集团“数字高速” 建设，推动数字化与企业发展深度融合，以数字化促进集团治理体系和治理能力现代化。高速集团围绕“智能感知、一体协同、多跨融合、整体智治”的总体目标，建设“重庆高速智能运行中心平台”，打造集团“数字高速”建设的集中展示门户，充分展现“数字高速”的建设成果以及集团整体智治水平
1、使用FLink进行实时数据的计算分析
2、用flimkCDC进行数据采集
3、用hive、Doris进行数据存储
后来
大数据开发工程师 · 3年经验 · 重庆高速集团
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
▫ETL开发｜数据清洗｜实时流处理 |python爬虫
▫数仓搭建｜报表自动化｜性能优化
▫ Flink实时看板｜Hive离线分析
▫ park数据分析 scala编程 spark编程 大数据分析技术 数据分析可视化 spark sql spark dataframe spark rdd spark streaming Hadoop MapReduce
▫数仓搭建｜报表自动化｜性能优化
▫ Flink实时看板｜Hive离线分析
▫ park数据分析 scala编程 spark编程 大数据分析技术 数据分析可视化 spark sql spark dataframe spark rdd spark streaming Hadoop MapReduce
项目经验
重庆高速科创大楼数字孪生
为落实“数字中国”、“数字重庆”、“数字交通”的战略部署要求，并结合集团《加快推进“数字高速”建设的行动方案（2023-2027）》建设要求，进一步全面深化集团“数字高速” 建设，推动数字化与企业发展深度融合，以数字化促进集团治理体系和治理能力现代化。高速集团围绕“智能感知、一体协同、多跨融合、整体智治”的总体目标，建设“重庆高速智能运行中心平台”，打造集团“数字高速”建设的集中展示门户，充分展现“数字高速”的建设成果以及集团整体智治水平
1、使用FLink进行实时数据的计算分析
2、用flimkCDC进行数据采集
3、用hive、Doris进行数据存储
为落实“数字中国”、“数字重庆”、“数字交通”的战略部署要求，并结合集团《加快推进“数字高速”建设的行动方案（2023-2027）》建设要求，进一步全面深化集团“数字高速” 建设，推动数字化与企业发展深度融合，以数字化促进集团治理体系和治理能力现代化。高速集团围绕“智能感知、一体协同、多跨融合、整体智治”的总体目标，建设“重庆高速智能运行中心平台”，打造集团“数字高速”建设的集中展示门户，充分展现“数字高速”的建设成果以及集团整体智治水平
1、使用FLink进行实时数据的计算分析
2、用flimkCDC进行数据采集
3、用hive、Doris进行数据存储
案例展示
重庆高速科创大楼数字孪生
1. 负责管理第三方团队，协同搭建高效的数据中台系统，确保数据底座与中台的稳定运行，并作为项目主导者全面把控项目进度。 2. 主导数据仓库的构建过程，针对数据分层提出创新性方案，并制定统一的数据标准，以优化数据存储和查询效率。 3. 作为小组数据团队的核心领导，有效分配ETL
电商网站商品价格监控系统
该项目是一个基于 Python 开发的电商网站商品价格监控系统，旨在定期抓取特定电商平台上的商品价格信息，并对价格波动进行监控和通知。使用了 requests 库进行网页请求，BeautifulSoup 和 lxml 进行网页数据解析，同时结合 pandas 进行数据存储和分析。
立即沟通
