狂气科科
大数据工程师
- 公司信息：
- 深圳市筑龙信息技术优先公司
- 工作经验：
- 5年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 深圳
- 福田
技术能力
1 大数据
对apache hadoop 和cdh hadoop 较为了解，善于设计大数据库平台架构，能编写自动部署脚本；
可以快速搭建起大数据平台，并且会维护
对hive hbase spark kafka等技术熟悉，阅读过spark的源码
善于用pyspark scala 进行数据挖掘,熟悉spark core sparksql sparkgraphx spark mllib
善于解决hadoop生态圈林林种种的坑。
2 python 熟悉python边边角角
数据分析：numpy scipy pandas 等
python web:掌握django flask
运维:掌握linux和fabric
机器学习：熟悉sklearn库，熟悉分类/聚类/推荐 神经网络等
图像处理:PIL
3 数据仓库
主要对四大关系型数据库:postgresql mysql sqlserver oracle 熟悉，善于数据库编程
数据仓库建模，善于使用ETL工具---kettle为主，善于设计数据仓库。
。
项目经验
1 深圳市企业统一代码大数据仓库库搭建
以深圳市工商企业登记数据为核心，整合税务/社保公积金/法务/招商等部门的数据，搭建统一代码库；
1）该数据仓库难点在，涉及部门多，每个部门数据交互方案不同；
2）业务复杂，ETL程序编写繁重而复杂
3）放弃传统数据库，基于hadoop平台搭建
选择云服务器，选择了redhat 7,3 作为集群的操作系统；选择了cdh,作为hadoop平台，数据存储在hive和hbase中；
用kettle编写ETL程序。
该项目历时1年半，我从零参与，主导所有流程。
2 深圳市筑龙科技，深圳市数据中心搭建
该项目搭建中：也是以cdh作为数据平台，业务为招投标数据；
不一样的地方在关系数据特别多，涉及许多图算法
1）搭建neo4j图数据库
2） 批量图运算，借助sparkx
相似人才推荐
-
800元/天售前曙光概要：熟练高性能计算任何场景需求和运维部署、掌握linux系统，精通python、shell语言，参与过H
-
600元/天高级爬虫工程师科达集团概要：1.熟练使用re,xpath,beautifulsoup这些工具匹配元素 2.精通队列，多进程，多
-
600元/天高级软件工程师展讯通讯概要：1.多年移动开发经验，从事android以及ios开发，主导多款app的开发以及上线和维护 2.有
-
1000元/天大数据工程师北京思特奇概要：掌握java，熟练使用springboot架构，精通后台开发，也可以开发非web程序； 掌握had
-
500元/天高级软件工程师元铂概要：研究生专业为人工智能、计算机视觉，掌握的编程语言有：Python、C#、C++（C）、Java、Ja -
800元/天Android工程师 -- 全栈开发--物联网工程深圳市销邦科技概要：物联网工程专业毕业，对于物联网相关的项目感兴趣，目前从事于RFID射频识别中间件项目的开发工作。 -
500元/天算法工程师新华三技术有限公司概要： 熟悉 Python 编程，在利用 Python 进行数据分析、算法建模等方面有丰富经验。熟练使用
-
1000元/天面谈面谈概要：开发语言： c，c++，c#，php，python，java，nodejs， 开发经验： wi
