天空之城
后端开发
北京移动通信集团北京有限公司 · 2年经验
日薪：
￥500/8h
地点：
北京 东城
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
▪ 熟悉Java基础、Scala编程语言;
▪ 熟练掌握关系型数据库Oracle、Tidb、Mysql，非关系型数据库Redis、Mongodb、Hbase;
▪ 熟练掌握搜索引擎Elasticsearch及其可视化操作工具Kibana；
▪ 熟练掌握Java主流开发框架：SpringBoot、SpringMVC、Spring、Sprincloud、Struts2
Servlet、Docker、Shiro；
▪ 熟练大数据开发：Hadoop、HDFS、MapReduce、Hbase、Hive、Sqoop、Spark、Flink、Zookeeper、Flume、Kafka） ;
▪ 熟练掌握Linux操作系统及其常见Shell指令，编写简单的 Shell 脚本 ;
▪ 熟练搭建Mysql、HDFS、Yarn、Zookeeper、Redis、Hbase、Kafka、Elasticsearch分布式高可用集群 ;
▪ 熟练掌握Nginx搭建Tomcat集群负载均衡；
▪ 熟练掌握Spark 技术栈：RDD 依赖关系，使用SparkStreaming完成实时计算以及熟练运用Spark SQL和Structured Streaming，完成对离线数据的查询，分析，统计 ;
▪ 掌握常见的分布式开发： Kafka、SpringCloud、NoSQL 、Hbase、Nginx 、Tomcat等 ;
▪ 熟悉IDEA 、MyEclipse、Maven、Git 等项目构建工具的使用；
▪ 基本掌握Jquery、JavaScript、Css、BootStrap、Jqgrid、Ajax等前端技术。
▪ 熟练使用websocket相关产品goeasy、图表库echarts、excel文档导入导出easypoi以及短信发送服务阿里大于；
▪ 熟练使用批量工作流调度器Azkaban。
▪ 熟练掌握关系型数据库Oracle、Tidb、Mysql，非关系型数据库Redis、Mongodb、Hbase;
▪ 熟练掌握搜索引擎Elasticsearch及其可视化操作工具Kibana；
▪ 熟练掌握Java主流开发框架：SpringBoot、SpringMVC、Spring、Sprincloud、Struts2
Servlet、Docker、Shiro；
▪ 熟练大数据开发：Hadoop、HDFS、MapReduce、Hbase、Hive、Sqoop、Spark、Flink、Zookeeper、Flume、Kafka） ;
▪ 熟练掌握Linux操作系统及其常见Shell指令，编写简单的 Shell 脚本 ;
▪ 熟练搭建Mysql、HDFS、Yarn、Zookeeper、Redis、Hbase、Kafka、Elasticsearch分布式高可用集群 ;
▪ 熟练掌握Nginx搭建Tomcat集群负载均衡；
▪ 熟练掌握Spark 技术栈：RDD 依赖关系，使用SparkStreaming完成实时计算以及熟练运用Spark SQL和Structured Streaming，完成对离线数据的查询，分析，统计 ;
▪ 掌握常见的分布式开发： Kafka、SpringCloud、NoSQL 、Hbase、Nginx 、Tomcat等 ;
▪ 熟悉IDEA 、MyEclipse、Maven、Git 等项目构建工具的使用；
▪ 基本掌握Jquery、JavaScript、Css、BootStrap、Jqgrid、Ajax等前端技术。
▪ 熟练使用websocket相关产品goeasy、图表库echarts、excel文档导入导出easypoi以及短信发送服务阿里大于；
▪ 熟练使用批量工作流调度器Azkaban。
项目经验
商场日志分析处理系统
技术实现: Flume+HDFS+Hive+SparkSQL+MySQL+Azkaban+kafka+zookeeper
项目描述：
通过收集应用系统的日志数据，进行管理、转发、监控、分析等操作。通过获取用户在该 商场操作APP的行为， 可 以分析出哪些内容受到欢迎，哪些页面存在问题，从而使网站改进 活动更具有针对性提高管理水平， 缩减运营成本，规避安全 风险，为企业挖掘数据中最宝贵的信息数据。
职责描述:
1.使用Flume采集点击日志数据，并将数据存储在HDFS上对数据进行预处理，ETL建立数据仓 库。
2.使用Spark SQL对接数据仓库进行离线分析，具体有流量分析/板块点击分析/访客分析/热 度分析等维度进行建模。
3.使用Spark SQL的group by分组计算实现top10活跃session指标。
4.参与结果的可视化展示,读取 MySQL,使用 echarts 在前台页面展示
平台风险检测分析系统
技术实现：Zookeeper+Scala+Flume+Kafka+Flink+HDFS
项目描述：
该系统主要针对于监控平台用户的登录行为，进行登录行为实时的风险评估，根据评估结果进行预警，以达到保障。用户账户安全的效果。系统通过采集业务系统的用户登录日志信息，采集登录中可能存在风险的多维度信息，根据数学及相关理论分别建立风险评估模型，依据评估模型使用计算框架实现流计算，依据模型计算结果形成风险评估报告。
职责描述：
1.使用Flume采集日志数据，并将数据存储在HDFS，对接Hive进行数据的预处理，ETL建成数据仓库，抽取最终数据使用Sqoop工具将其导入到MySql。
2.使用Spark SQL对接Mysql数据库进行离线分析，具体有流量分析/板块点击分析/访客分析/热度分析等维度进行建模。
3.根据建模进行代码实现，统计指标。
4.使用Sqoop将结果持久化到MySql。
技术实现: Flume+HDFS+Hive+SparkSQL+MySQL+Azkaban+kafka+zookeeper
项目描述：
通过收集应用系统的日志数据，进行管理、转发、监控、分析等操作。通过获取用户在该 商场操作APP的行为， 可 以分析出哪些内容受到欢迎，哪些页面存在问题，从而使网站改进 活动更具有针对性提高管理水平， 缩减运营成本，规避安全 风险，为企业挖掘数据中最宝贵的信息数据。
职责描述:
1.使用Flume采集点击日志数据，并将数据存储在HDFS上对数据进行预处理，ETL建立数据仓 库。
2.使用Spark SQL对接数据仓库进行离线分析，具体有流量分析/板块点击分析/访客分析/热 度分析等维度进行建模。
3.使用Spark SQL的group by分组计算实现top10活跃session指标。
4.参与结果的可视化展示,读取 MySQL,使用 echarts 在前台页面展示
平台风险检测分析系统
技术实现：Zookeeper+Scala+Flume+Kafka+Flink+HDFS
项目描述：
该系统主要针对于监控平台用户的登录行为，进行登录行为实时的风险评估，根据评估结果进行预警，以达到保障。用户账户安全的效果。系统通过采集业务系统的用户登录日志信息，采集登录中可能存在风险的多维度信息，根据数学及相关理论分别建立风险评估模型，依据评估模型使用计算框架实现流计算，依据模型计算结果形成风险评估报告。
职责描述：
1.使用Flume采集日志数据，并将数据存储在HDFS，对接Hive进行数据的预处理，ETL建成数据仓库，抽取最终数据使用Sqoop工具将其导入到MySql。
2.使用Spark SQL对接Mysql数据库进行离线分析，具体有流量分析/板块点击分析/访客分析/热度分析等维度进行建模。
3.根据建模进行代码实现，统计指标。
4.使用Sqoop将结果持久化到MySql。
天空之城
后端开发 · 2年经验 · 北京移动通信集团北京有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
▪ 熟悉Java基础、Scala编程语言;
▪ 熟练掌握关系型数据库Oracle、Tidb、Mysql，非关系型数据库Redis、Mongodb、Hbase;
▪ 熟练掌握搜索引擎Elasticsearch及其可视化操作工具Kibana；
▪ 熟练掌握Java主流开发框架：SpringBoot、SpringMVC、Spring、Sprincloud、Struts2
Servlet、Docker、Shiro；
▪ 熟练大数据开发：Hadoop、HDFS、MapReduce、Hbase、Hive、Sqoop、Spark、Flink、Zookeeper、Flume、Kafka） ;
▪ 熟练掌握Linux操作系统及其常见Shell指令，编写简单的 Shell 脚本 ;
▪ 熟练搭建Mysql、HDFS、Yarn、Zookeeper、Redis、Hbase、Kafka、Elasticsearch分布式高可用集群 ;
▪ 熟练掌握Nginx搭建Tomcat集群负载均衡；
▪ 熟练掌握Spark 技术栈：RDD 依赖关系，使用SparkStreaming完成实时计算以及熟练运用Spark SQL和Structured Streaming，完成对离线数据的查询，分析，统计 ;
▪ 掌握常见的分布式开发： Kafka、SpringCloud、NoSQL 、Hbase、Nginx 、Tomcat等 ;
▪ 熟悉IDEA 、MyEclipse、Maven、Git 等项目构建工具的使用；
▪ 基本掌握Jquery、JavaScript、Css、BootStrap、Jqgrid、Ajax等前端技术。
▪ 熟练使用websocket相关产品goeasy、图表库echarts、excel文档导入导出easypoi以及短信发送服务阿里大于；
▪ 熟练使用批量工作流调度器Azkaban。
▪ 熟练掌握关系型数据库Oracle、Tidb、Mysql，非关系型数据库Redis、Mongodb、Hbase;
▪ 熟练掌握搜索引擎Elasticsearch及其可视化操作工具Kibana；
▪ 熟练掌握Java主流开发框架：SpringBoot、SpringMVC、Spring、Sprincloud、Struts2
Servlet、Docker、Shiro；
▪ 熟练大数据开发：Hadoop、HDFS、MapReduce、Hbase、Hive、Sqoop、Spark、Flink、Zookeeper、Flume、Kafka） ;
▪ 熟练掌握Linux操作系统及其常见Shell指令，编写简单的 Shell 脚本 ;
▪ 熟练搭建Mysql、HDFS、Yarn、Zookeeper、Redis、Hbase、Kafka、Elasticsearch分布式高可用集群 ;
▪ 熟练掌握Nginx搭建Tomcat集群负载均衡；
▪ 熟练掌握Spark 技术栈：RDD 依赖关系，使用SparkStreaming完成实时计算以及熟练运用Spark SQL和Structured Streaming，完成对离线数据的查询，分析，统计 ;
▪ 掌握常见的分布式开发： Kafka、SpringCloud、NoSQL 、Hbase、Nginx 、Tomcat等 ;
▪ 熟悉IDEA 、MyEclipse、Maven、Git 等项目构建工具的使用；
▪ 基本掌握Jquery、JavaScript、Css、BootStrap、Jqgrid、Ajax等前端技术。
▪ 熟练使用websocket相关产品goeasy、图表库echarts、excel文档导入导出easypoi以及短信发送服务阿里大于；
▪ 熟练使用批量工作流调度器Azkaban。
项目经验
商场日志分析处理系统
技术实现: Flume+HDFS+Hive+SparkSQL+MySQL+Azkaban+kafka+zookeeper
项目描述：
通过收集应用系统的日志数据，进行管理、转发、监控、分析等操作。通过获取用户在该 商场操作APP的行为， 可 以分析出哪些内容受到欢迎，哪些页面存在问题，从而使网站改进 活动更具有针对性提高管理水平， 缩减运营成本，规避安全 风险，为企业挖掘数据中最宝贵的信息数据。
职责描述:
1.使用Flume采集点击日志数据，并将数据存储在HDFS上对数据进行预处理，ETL建立数据仓 库。
2.使用Spark SQL对接数据仓库进行离线分析，具体有流量分析/板块点击分析/访客分析/热 度分析等维度进行建模。
3.使用Spark SQL的group by分组计算实现top10活跃session指标。
4.参与结果的可视化展示,读取 MySQL,使用 echarts 在前台页面展示
平台风险检测分析系统
技术实现：Zookeeper+Scala+Flume+Kafka+Flink+HDFS
项目描述：
该系统主要针对于监控平台用户的登录行为，进行登录行为实时的风险评估，根据评估结果进行预警，以达到保障。用户账户安全的效果。系统通过采集业务系统的用户登录日志信息，采集登录中可能存在风险的多维度信息，根据数学及相关理论分别建立风险评估模型，依据评估模型使用计算框架实现流计算，依据模型计算结果形成风险评估报告。
职责描述：
1.使用Flume采集日志数据，并将数据存储在HDFS，对接Hive进行数据的预处理，ETL建成数据仓库，抽取最终数据使用Sqoop工具将其导入到MySql。
2.使用Spark SQL对接Mysql数据库进行离线分析，具体有流量分析/板块点击分析/访客分析/热度分析等维度进行建模。
3.根据建模进行代码实现，统计指标。
4.使用Sqoop将结果持久化到MySql。
技术实现: Flume+HDFS+Hive+SparkSQL+MySQL+Azkaban+kafka+zookeeper
项目描述：
通过收集应用系统的日志数据，进行管理、转发、监控、分析等操作。通过获取用户在该 商场操作APP的行为， 可 以分析出哪些内容受到欢迎，哪些页面存在问题，从而使网站改进 活动更具有针对性提高管理水平， 缩减运营成本，规避安全 风险，为企业挖掘数据中最宝贵的信息数据。
职责描述:
1.使用Flume采集点击日志数据，并将数据存储在HDFS上对数据进行预处理，ETL建立数据仓 库。
2.使用Spark SQL对接数据仓库进行离线分析，具体有流量分析/板块点击分析/访客分析/热 度分析等维度进行建模。
3.使用Spark SQL的group by分组计算实现top10活跃session指标。
4.参与结果的可视化展示,读取 MySQL,使用 echarts 在前台页面展示
平台风险检测分析系统
技术实现：Zookeeper+Scala+Flume+Kafka+Flink+HDFS
项目描述：
该系统主要针对于监控平台用户的登录行为，进行登录行为实时的风险评估，根据评估结果进行预警，以达到保障。用户账户安全的效果。系统通过采集业务系统的用户登录日志信息，采集登录中可能存在风险的多维度信息，根据数学及相关理论分别建立风险评估模型，依据评估模型使用计算框架实现流计算，依据模型计算结果形成风险评估报告。
职责描述：
1.使用Flume采集日志数据，并将数据存储在HDFS，对接Hive进行数据的预处理，ETL建成数据仓库，抽取最终数据使用Sqoop工具将其导入到MySql。
2.使用Spark SQL对接Mysql数据库进行离线分析，具体有流量分析/板块点击分析/访客分析/热度分析等维度进行建模。
3.根据建模进行代码实现，统计指标。
4.使用Sqoop将结果持久化到MySql。
立即沟通
