ID:227315 复制

杨健

java后端工程师（大数据方向） · 3年经验 · 百分点信息科技有限公司

城市北京海淀日薪600元/8h 时间下班后周六周日

累计接单

用户评价

被收藏

技术能力项目经验案例展示

技术能力

AI 技能提取 | MySQL Oracle Linux 高并发 Kafka Java Redis Spark Hive

1.熟悉java，scala，可独立完成后端开发
2.熟悉大数据组件如，hive，spark，hdfs，es等
3.熟练使用Mysql，oracle等关系型数据库
4.熟悉kafka，redis等消息队列
5.熟练掌握linux基本开发命令，可独立完成shell脚本开发
6.有大数量量，高并发，高可用发开调试经验

项目经验

1. 大数据平台（工信部项目）
本产品是负责给工信部提供技术支持，支持工信部人员将数据加载到集群hive，同时将数据进行接入，在hive中进行稽核分析，同时配置工作流，可执行脚本，将数据整体流程完整展示，最后结果在对应视图展示
个人负责：元数据模块，稽核模块，工作流部分，及后续整体问题及高并发问题，高数据量问题

2. 标签项目（etl）
本产品对接为公安，为公安提供统一的，标准化的数据视图，支持公安人员建立对应标签应用，对应加载进来数据源可以为多种（目前支持hive，mysql，oracle等），在etl中进行数据处理加载，最后写入到标签（也可写入到其他数据源，标签选型数据源为clickhouse），最后在标签系统中加载出来，供公安人员查找对应信息
个人负责：标签整体及搜索，etl部分算子

展开全部项目经验