基本信息

案例ID:192616

技术顾问:ykongl - 2年经验 - 苏州大宇宙信息创造有限公司

联系沟通

微信扫码,建群沟通

项目名称:GAP-数仓&Report开发

所属行业:电子商务 - B2C

->查看更多案例

案例介绍

项目介绍:
为gap客户收集每年在大陆,台湾线上线下门店的销售数据,存入ODS层数据库。
对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年,月,
季度,周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为
数据可视化,数据分析报表提供数据支持。使用可视化工具和前端框架对ADS
层数据进行可视化,为客户进行数据分析提供可视化服务。
我负责的内容:
1.将客户提供的xlsx文件数据用python转换成csv文件传到HDFS文件系统中,然
后映射到hive数据库。
2.使用sql将ODS层数据进行处理分层存入DWD,DWS,ADS层当中。
3.将 hive数据库中ADS层数据使用DataX同步到clickhouse中,为数据可视化提
供支持。
4.使用Vue框架以及可视化工具对部分数据进行可视化。
5.对数据进行质量测试并撰写测试报告。
技术:
HDFS+hive+MapReduce+sql+clickhouse+DataX+Redis+Linux+shell+python+Java
+Springboot+Vue+Mysql+tableau

相似案例推荐

其他人才的相似案例推荐

  • 千讯通

    千讯通

    主要经营为通讯器材等设备,通过小程序实现光猫、机顶盒、路由器

  • 链车引力

    链车引力

    链车引力是专注于新能源汽车服务领域,为用户提供选车、买车、用

  • 电商运营后台

    电商运营后台

    电商运营后台 项目概述:本项目主要为服务于用户及商家及运营

  • 微商来商城

    微商来商城

    这是一款微商城+多级分销+分红代理+营销活动+新零售多层级的

  • 有路平台(核心项目app)

    有路平台(核心项目app)

    内容: 主要对商品信息浏览购买以及游戏签到问卷等相关活动的

  • NFT数字藏品--移动端

    NFT数字藏品--移动端

    完成登陆页面,注册页面表单构建,交互,路由跳转等; 根

  • sass项目

    sass项目

    使用vue2+axios+scss技术独立进行开发,整体项目

  • 某业务网站

    某业务网站

    通过服务端渲染SSR进行页面直出,大大增加SEO检索度;

  • 浙里好券

    浙里好券

    “浙里好券”项目限制区域是浙江,主要分为云闪付小程序和后台管

  • 华品优选

    华品优选

    线上小程序商城 后台管理各种商品信息 普通商品 积分

  • 金乐福APP

    金乐福APP

    1. 金乐福是一款 金饰品、珠宝 B2C商城, 2. 使用

  • 京东协议

    京东协议

    wskey登录,ptkey登录,商品信息查询,资产信息查询,

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服