熟练使用sql,Linux 命令,熟悉Sql Server、oracle、mysql数据库,python处理数据,项目中熟练使用kettle,datax,FDL等抽数工具,熟悉Hadoop 集群,项目中使用FineReport、FineBI做报表分析及可视化大屏展示数据,帆软相关的证书有:FCP-报表开发工程师、FCP-报表交付工程师、FCP-FineBi
1. 使用Kettle和Datax与Datax-Web调度平台相结合,从源业务系统中提取数据,确保数据的完整性和准确性。
2. 根据主题分析,将ODS数据库中的数据按照不同主题进行整合和汇总到DW层,以便进行后续的数据处理和分析。
3. 根据业务需求和数据分析结果,进行多维度数据的聚合和指标计算,并将结果汇总到DM层,为业务决策提供有力支持。
4. 利用FineReport等工具,对数据结果进行可视化展示和分析,为业务团队提供直观、清晰、易懂的数据图表和报告,帮助他们更好地理解数据和发掘商业价值。
通过kettle或者datax将数据抽取到ods层,根据主题分析,将ods数据库中的数据按照不同主题进行整合和汇总到dw层,根据业务需求和数据分析结果,进行多维度数据的聚合和指标计算,并将结果汇总到DM层,最后用报表工具进行数据展示
根据任务需求编写对应的python脚本进行数据处理,并配置相应的定时调度,按照对应的频率进行脚本执行