一.参与华为大数据平台开发,为企业提供一站式大数据平台搭建。
主要工作:
1.采用 Maven构建工程,使用 SpringBoot框架进行部署。
2.认证安全,基于用户和角色的认证统一体系,遵从账户/角色 RBAC(Role-BasedAccess Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。
3.使用 Flink提供并行化的实时流数据计算处理。
4.使用 Yarn作为资源管理系统,为各类应用程序进行资源管理和调度。
5.使用 HDFS分布式文件系统来提供高吞吐量的数据访问。
6.使用 Redis 丰富数据类型并满足实时的高并发需求。
7.使用 Kafka 消息发布订阅系统,提供可扩展、高吞吐、低延迟、高可靠的消息发布服务。
8.使用 HBase提供海量数据存储功能
二.参与公司商城项目
主要工作:
1.采用了 SOA分布式系统架构,采用 dubbo和zookeeper搭建分布式系统。
2.前台为了减轻服务器的压力和高并发访问问题,采用FreeMarker实现页面的静态化。
3.使用 HDFS搭建图片服务器,减少因网站存在大量图片导致的主服务器的压力问题。
4.使用消息队列 RabbitMQ实现商品同步。
5.使用 Redis缓存服务器来减小服务器压力。
6.使用 ElasticSearch服务器实现站内搜索技术。
7.使用 Nginx反向代理服务器解决集群负载均衡问题