猿急送>

重庆Python兼职程序员

ID：389854

后来

大数据开发工程师

公司信息：
重庆高速集团

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
重庆
全区

技术能力

▫ETL开发｜数据清洗｜实时流处理 |python爬虫
▫数仓搭建｜报表自动化｜性能优化
▫ Flink实时看板｜Hive离线分析
▫ park数据分析 scala编程 spark编程大数据分析技术数据分析可视化 spark sql spark dataframe spark rdd spark streaming Hadoop MapReduce

项目经验

重庆高速科创大楼数字孪生
为落实“数字中国”、“数字重庆”、“数字交通”的战略部署要求，并结合集团《加快推进“数字高速”建设的行动方案（2023-2027）》建设要求，进一步全面深化集团“数字高速” 建设，推动数字化与企业发展深度融合，以数字化促进集团治理体系和治理能力现代化。高速集团围绕“智能感知、一体协同、多跨融合、整体智治”的总体目标，建设“重庆高速智能运行中心平台”，打造集团“数字高速”建设的集中展示门户，充分展现“数字高速”的建设成果以及集团整体智治水平
1、使用FLink进行实时数据的计算分析
2、用flimkCDC进行数据采集
3、用hive、Doris进行数据存储

案例展示

重庆高速科创大楼数字孪生

1. 负责管理第三方团队，协同搭建高效的数据中台系统，确保数据底座与中台的稳定运行，并作为项目主导者全面把控项目进度。 2. 主导数据仓库的构建过程，针对数据分层提出创新性方案，并制定统一的数据标准，以优化数据存储和查询效率。 3. 作为小组数据团队的核心领导，有效分配ETL
电商网站商品价格监控系统

该项目是一个基于 Python 开发的电商网站商品价格监控系统，旨在定期抓取特定电商平台上的商品价格信息，并对价格波动进行监控和通知。使用了 requests 库进行网页请求，BeautifulSoup 和 lxml 进行网页数据解析，同时结合 pandas 进行数据存储和分析。