猿急送>

北京产品经理兼职程序员

ID：270056

(:з っ )っ

大数据开发工程师

公司信息：
科大讯飞股份有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

1. 熟悉 Java 编程，有良好的算法和编码能力，熟悉面向对象编程，了解 JVM 原理及性能调优。 2. 掌握 JavaScript，Ajax，jQuery 等前台开发技术。 3. 掌握 MySql 数据库操作，熟练掌握 sql 语句。 4. 熟练使用 Scala 开发，熟练开发 spark core、spark sql、spark streaming 代码及远程提交 spark 任务代码。 5. 熟练使用 Linux 操作系统，开发高可用版本 Hadoop 自动化安装脚本，搭建本地 hadoop 集群，数据仓库及 spark 集群。
6. 掌握数据倾斜解决方案，并根据业务需求完成代码调优。 7. 熟悉 Hive 数仓建模思路，熟练使用 HSQL 完成复杂业务数据查询。 8. 熟悉 MapReduce 任务提交流程及相关工作原理，熟悉 shuffle 原理。 9. 熟悉 Spark 开发流程，熟悉 Spark 任务提交流程。 10. 熟悉 Kafka、Hbase、Redis 等数据开发组件运用。 11. 熟悉 JavaWeb， JDBC，熟悉 Springmvc，Spring，MyBatis。 12. 熟练使用 numpy 和 pandas 完成数据分析工作。熟练使用 urllib 和 Beautiful Soup 库抓取网页数据。 13. 熟练使用阿里云开发组件，如 MaxCompute、DataWorks、RDS 数据库、Tablestore、DataV、API 网关等。

项目经验

麒盛科技离线数据分析平台项目简介：互联网+大数据时代，麒盛科技提出健康睡眠理念，通过分析挖掘传感器传输的用户体征数据以及 app 用户基础数据，建立一套有效的健康睡眠管理体系。使用基于数据仓库技术开发用户睡眠画像管理体系，实现用户群体分类、用户群体服务、以及群体价值挖掘。数据来源：传感器传输数据、App 用户信息、日志系统数据、产品销售数据、售后服务数据。数据存储：采用分层的架构存储，ods -> dwd -> dws -> abs。通过空间换时间的方式获取性能，同时将复杂的问题简单化，让每一步都清晰简单，更加利于系统的建设和维护。数据服务：报表系统、用户画像、推荐系统。用户分析模块：新增用户列表，用户年龄分布，活跃用户列表，早起人群列表，晚睡人群列表。设备分析模块：故障设备统计，活跃设备统计，离线设备统计，智能床使用偏好统计，设备异常问题统计。用户体征数据标签化：心率状态标签，呼吸率状态标签，打鼾状态标签，HRV 状态标签等。主要工作： • 参与项目方案讨论，负责需求分析、接口方案、画像模型设计，编写系统验收测试。 • 完成数据表分层设计，数仓模型搭建，数据维度分析，过程文件编写。 • 负责协调其他开发人员的需求理解、进度把控，引导开发组进行项目开发。 • 针对项目开发过程中需要注意事项及出现的问题进行讨论分析。 • 用户睡眠画像分析，基于数据仓库技术，将用户睡眠数据具体化，抽象成更容易理解的标签信息，实现用户群体分类。 • 个性化推荐系统开发，开发后台数据接口供 app 调用，结合用户画像分析，实现用户群体服务。

案例展示

健康睡眠大数据平台

通过大数据分析技术，分析现有存量数据，针对以下四个方面对用户睡眠数据进行分析： 1、基础数据整理使用PySpark程序对原始数据进行解析、清洗、加密。脏数据处理，如：很多用户基本信息没有填写。 2、针对用户多维度、细致化分析每个用户一段时间内睡眠质量变化情况，根据用户
袋鼠云

1、袋鼠云数栈打造了完整的全流程数据质量闭环管理机制，同时支持数据迁移和逻辑变更的双表逐行校验场景。 2、大量ETL任务，任务运行正常，由于数据源变动，或开发代码修改，测试不充分，导致数据经常出现问题。使用数栈，可对关键任务配置数据质量校验规则，任务跑完产出数据，并经过质量