项目一：企业级数据中台建设与实施

项目描述：
参与企业数据中台相关系统建设，覆盖多类型数据源接入、离线数据处理、实时数据处理、数据建模、数据治理、数据服务及平台运维等环节。

主要工作：
1.参与数据源接入、数据采集及数据同步任务开发，处理MySQL、Hive、Kafka等数据源。
2.根据业务需求完成ODS、DWD、DWS等数据分层设计及SQL开发。
3.使用Kafka、Flink等组件处理实时数据，排查消息积压、消费异常及任务运行问题。
4.负责Hive、Doris、StarRocks等数据组件的查询、导入、分区管理及性能问题排查。
5.参与平台私有化部署、环境配置、系统联调、问题定位和交付文档编写。

技术栈：
Java、Spring Boot、MySQL、Kafka、Flink、Hive、Doris、StarRocks、Linux、Docker。


项目二：Hive数据抽取及BCP、ZIP文件生成系统

项目描述：
开发数据批量抽取程序，从Hive多库多表中按照时间分区读取数据，将查询结果转换为指定格式的BCP文件，并按照配置自动生成ZIP压缩包。

主要工作：
1.设计多表、多时间分区的数据读取流程，按照小时滚动查询，每完成一个时间段后继续处理下一时间段。
2.通过配置文件管理数据库、表名、字段、分区字段、文件条数、压缩规则及输出路径。
3.采用多线程和阻塞队列实现数据查询、内容组装、BCP文件写入及ZIP压缩分阶段异步处理。
4.支持指定每个BCP文件的数据条数以及每个ZIP包包含的BCP文件数量。
5.完成Kerberos认证、Hive JDBC连接、异常处理、日志记录及单元测试。
6.优化大批量数据处理过程中的内存使用、线程调度和文件生成效率。

技术栈：
Java、Hive JDBC、Kerberos、多线程、线程池、BlockingQueue、Zip4j、Properties、Linux。


项目三：企业中间件及容器化部署

项目描述：
参与企业应用运行环境及基础中间件部署，完成多节点环境中的Docker、Kafka、Redis、Nacos、MySQL、MinIO、Nginx和Doris等组件安装配置。

主要工作：
1.编写Docker Compose及服务启动配置，完成中间件容器化部署。
2.部署Kafka KRaft集群，配置用户认证、Topic管理及生产消费验证。
3.部署Redis主从及Sentinel环境，配置访问密码并完成故障切换验证。
4.完成Nacos、MySQL、MinIO、Nginx等组件安装、配置和服务验证。
5.排查容器端口不通、服务无法启动、网络转发、磁盘空间、内存占用及配置文件错误等问题。
6.输出完整安装手册、启动停止命令、验证命令和常见故障处理方案。

技术栈：
Linux、Docker、Docker Compose、Kafka、Redis、Nacos、MySQL、MinIO、Nginx、Doris、Shell。


项目四：企业AI平台及模型服务支撑

项目描述：
参与企业AI平台相关项目实施，平台覆盖数据集管理、模型管理、模型训练、模型评测、推理服务、资源调度和应用接口调用等能力。

主要工作：
1.参与平台环境部署、功能验证、接口联调和运行问题排查。
2.支持模型、数据集及应用资源的统一管理。
3.参与模型推理服务部署，将模型发布为API服务并进行调用验证。
4.协助处理服务启动、资源配置、接口访问、容器运行及日志异常问题。
5.编写平台操作手册、部署文档、培训材料和问题处理记录。

技术栈：
Java、Python、REST API、Linux、Docker、模型推理服务、数据集管理、日志分析。