猿急送>

其他后端兼职程序员

ID：266735

塔克拉玛干的一粒沙

大数据开发工程师

公司信息：
浩鲸科技有限公司

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
可工作日远程

所在区域：
其他
全区

技术能力

1. 熟练使用Java、Scala 进行 MapReduce 和 Spark 相关开发
2. 熟练使用 Linux 的常用命令和 shell 脚本的编写
3. 熟悉 Python，利用Python编写高并发框架
4. 熟悉 Hadoop生态圈、HDFS、MapReduce、Zookeeper、Yarn 架构原理
5. 熟练掌握 Spark Core 和 Spark SQL 对离线数据分析
6. 熟练使用 Spark Streaming 实现对实时数据分析
7. 熟练使用 Hive，编写 HQL 语句并进行相关优化
8. 熟悉掌握MySQL的使用以及SQL语句的编写
9. 熟悉 Hbase 架构和相关组件工作原理，根据场景进行优化设计
10. 熟悉 Redis 的工作原理和架构及使用场景完成持久化操作
11. 熟练使用Kafka、Flume、Sqoop数据采集传输工具和Oozie调度工具

项目经验

项目一：
飞鹤数据中台（2021.9-2022.1）
所用技术： Hadoop，Hive，Mysql，Shell，Dataphin，QuickBI
开发工具： Linux，Maven，VIM，Idea，Navicat
项目描述：飞鹤公司为增强业务能力，需要对庞大的销售数据进行实时统计，但传统的业务库已经无法满足目前的分析决策任务，所以搭建一套完整的数据中台系统，建立面向主题、稳定的、集成的数据仓库，支持高效、复杂的业务查询分析，运营团队做出及时准确的决策，推动业务发展。采集不同业务库的业务数据、日志行为数据，经过过统计，提供数据可视化输出。
主要工作：
1. 参与数据模型搭建。
2. 负责据上传，保证数据上传的完整性与实时性。
3. 负责对数据模型的实施与部署。
4. 负责QuickBI页面的搭建、数据上传、页面调整与发布。
5. 负责优化查询逻辑，提高报表展示速度。
6. 负责数据维护，保证每天的数据及时更新

项目二：
北京冬奥交通一体化（2022.1-2022.3）
所用技术： Hadoop， Python， Shell， PhantomJS， Redis，Kafka
开发工具： Linux，Maven，VIM，Idea，Pycharm，RedisClient
项目描述：
北京交通局为要求对北京冬奥会场馆附近交通做一个实时的数据可视化大屏，要求对不同的业务类型，可做出实时的数据统计，实时的页面展示，从数据采集，经过ETL 过程，建立ODS、DWD、DWS 层、ADS 层数据仓库，提供数据输出；通过数据的实时推送，保证可视化大屏的数据有效性。
主要工作：
1. 参与使用Python语言根据生产者消费者模式编写通用的分布式并发框架。
2. 负责将数据上传至HDFS，为下游做数据准备。
3. 负责数据推送到Kafka，满足各种场景的使用。
4. 负责项目中期的框架优化，数据排重。
5. 负责数据维护，保证每天的数据及时更新到kafka中