该项目主要面向企业测试及生产环境,负责Linux服务器上的基础组件安装、容器化部署、配置调优、服务验证和故障排查。 项目中使用Docker及Docker Compose完成MySQL、Redis、Kafka、Nacos、Nginx、MinIO、Doris等组件的部署,根据服务器资源和业务需求规划容器网络、端口映射、数据持久化目录、日志目录及启动参数。 本人主要负责部署方案编写、配置文件整理、服务启动停止脚本编写、集群节点配置、账号认证配置及组件间通信验证。项目实施过程中,处理了容器启动失败、端口无法访问、网络转发异常、服务注册失败、数据库连接超时、配置文件加载错误、内存不足及磁盘空...
该项目用于从Hive多个数据库及数据表中批量抽取业务数据,并按照约定格式生成BCP文件和ZIP压缩包,实现数据查询、格式转换、文件生成和压缩打包的自动化处理。 系统采用Java开发,通过配置文件维护数据库、表名、查询字段、时间分区字段、文件输出目录、单个BCP文件数据量以及每个ZIP包包含的文件数量。程序支持根据开始时间和结束时间按小时遍历Hive分区,每处理完一个小时的数据后再继续查询下一时间段,避免一次性加载大量数据造成内存压力。 本人负责整体程序结构设计、Hive JDBC连接、Kerberos认证、多线程任务调度、阻塞队列、数据格式转换、BCP文件写入及ZIP压缩逻辑。系统...
项目简介 为客户开发一套运行于 Windows 10/11 的桌面端网页自动化工具,用于管理多个网站账号,并按照设定时间自动执行登录、页面跳转、按钮点击、表单提交等操作。 系统采用多浏览器环境隔离方案,每个账号拥有独立的 Cookie、缓存和本地存储,避免多个账号之间登录状态相互影响。工具提供图形化操作界面,支持账号管理、任务配置、定时执行、运行日志、异常截图、任务暂停及手动终止等功能。 技术栈 Python Playwright PySide6 OpenCV APScheduler SQLite PyInstaller Windows 10 / Window...