ID:262585
复制
蓝宇
数据工程师 · 8年经验 · 有赞
0
累计接单
0
用户评价
0
被收藏
技术能力
大数据：6年大数据相关经验，对大数据组件的架构、选型、部署、使用、调优以及源码开发均有实践；
ES：3 年开发运维经验，能快速构建垂直搜索引擎；
ETL：擅长使用 FileBeats 、LogKit 、LogStash 对数据进行收集， 熟练使用 Spark 、Flink 对数据进行加工处理；
爬虫：有大型分布式爬虫系统设计开发经验，对于常规JS混淆逆向、安卓逆向、小程序逆向均有较多实践，对网络抓包、接口解析等均有深入研究；
全栈：熟练使用 C# 开发桌面应用程序，熟练使用 SpringBoot 配合前端全家桶构建网站应用。
ES：3 年开发运维经验，能快速构建垂直搜索引擎；
ETL：擅长使用 FileBeats 、LogKit 、LogStash 对数据进行收集， 熟练使用 Spark 、Flink 对数据进行加工处理；
爬虫：有大型分布式爬虫系统设计开发经验，对于常规JS混淆逆向、安卓逆向、小程序逆向均有较多实践，对网络抓包、接口解析等均有深入研究；
全栈：熟练使用 C# 开发桌面应用程序，熟练使用 SpringBoot 配合前端全家桶构建网站应用。
项目经验
一、实时数仓项目
独立开发了 DataCollecter 数据采集工具， 从多节点数据库中采集数据并写入到 Kafka 集群； 使用 Spark Streaming 实时对数据进行处理， 并将处理过的数据存储到 ES 中（Stage 层）；借助 ES 的聚合功能， 配合定时任务， 对 Stage 层数据进行清洗、标记、整合，并存储到 ES 中（ODS 层）；将 ODS 层索引映射到 Hive 表中，构建 DWD 层需要的维度表和 事实表；使用 Kylin 对 DWD 层数据进行建模，进而提供标准 SQL 能力供数据展示层使用。
二、全网音视频网站数据接口
全网音乐网站及VIP会员歌曲下载链接解析；
全网视频网站真实下载地址解析。
独立开发了 DataCollecter 数据采集工具， 从多节点数据库中采集数据并写入到 Kafka 集群； 使用 Spark Streaming 实时对数据进行处理， 并将处理过的数据存储到 ES 中（Stage 层）；借助 ES 的聚合功能， 配合定时任务， 对 Stage 层数据进行清洗、标记、整合，并存储到 ES 中（ODS 层）；将 ODS 层索引映射到 Hive 表中，构建 DWD 层需要的维度表和 事实表；使用 Kylin 对 DWD 层数据进行建模，进而提供标准 SQL 能力供数据展示层使用。
二、全网音视频网站数据接口
全网音乐网站及VIP会员歌曲下载链接解析；
全网视频网站真实下载地址解析。
立即沟通
