浪客剑心
大数据架构师，人工智能应用开发
亚信科技 · 14年经验
日薪：
￥800/8h
地点：
青岛 全区
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 分布式存储计算：Hadoop(HDFS/YARN/MapReduce)、Hive数据仓库；
2. 实时采集组件：Flume日志采集，熟练自定义Flume插件开发；
3. 开发语言：Java、Python，具备自定义数据处理程序开发能力；
4. 中间件辅助：Kafka、Zookeeper集群部署运维；
5. 架构能力：大数据项目整体架构方案设计、集群高可用架构搭建、离线+实时混合链路规划、性能调优、故障排查。
2. 实时采集组件：Flume日志采集，熟练自定义Flume插件开发；
3. 开发语言：Java、Python，具备自定义数据处理程序开发能力；
4. 中间件辅助：Kafka、Zookeeper集群部署运维；
5. 架构能力：大数据项目整体架构方案设计、集群高可用架构搭建、离线+实时混合链路规划、性能调优、故障排查。
项目经验
独立负责大数据平台整体架构设计与落地，从零完成Hadoop分布式集群部署、高可用架构搭建；基于业务多源日志场景，搭建Flume采集链路实现日志实时抽取；针对业务特殊过滤、数据转换需求，基于Java完成Flume自定义拦截器、自定义采集插件开发，自研数据清洗、数据校验处理程序；统筹离线数仓分层设计、数据流转全链路管控，输出完整架构设计文档、部署运维手册，保障平台稳定运行。
ID:427326
复制
浪客剑心
大数据架构师，人工智能应用开发 · 14年经验 · 亚信科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 分布式存储计算：Hadoop(HDFS/YARN/MapReduce)、Hive数据仓库；
2. 实时采集组件：Flume日志采集，熟练自定义Flume插件开发；
3. 开发语言：Java、Python，具备自定义数据处理程序开发能力；
4. 中间件辅助：Kafka、Zookeeper集群部署运维；
5. 架构能力：大数据项目整体架构方案设计、集群高可用架构搭建、离线+实时混合链路规划、性能调优、故障排查。
2. 实时采集组件：Flume日志采集，熟练自定义Flume插件开发；
3. 开发语言：Java、Python，具备自定义数据处理程序开发能力；
4. 中间件辅助：Kafka、Zookeeper集群部署运维；
5. 架构能力：大数据项目整体架构方案设计、集群高可用架构搭建、离线+实时混合链路规划、性能调优、故障排查。
项目经验
独立负责大数据平台整体架构设计与落地，从零完成Hadoop分布式集群部署、高可用架构搭建；基于业务多源日志场景，搭建Flume采集链路实现日志实时抽取；针对业务特殊过滤、数据转换需求，基于Java完成Flume自定义拦截器、自定义采集插件开发，自研数据清洗、数据校验处理程序；统筹离线数仓分层设计、数据流转全链路管控，输出完整架构设计文档、部署运维手册，保障平台稳定运行。
案例展示
数据自动分类与日报生成
本作品是一个基于Excel/VBA的作业安全风险数据自动分类与日报生成工具，专为企业安全督查部门的早会汇报场景设计。工具能够将每日录入的大量作业明细数据，按照多维风险等级规则自动完成分类筛选，并一键生成结构化的分类汇总报表，将原本需要人工逐条甄别、手动粘贴的30分钟工作量压缩至5
自动考试系统
基于 Flask + SQLite 的在线考试系统，支持单选题、多选题、判断题，具备自动组卷、计时考试、成绩分析等功能。
VBA宏自动分类数据
这段宏的核心功能是从原始数据表中，按特定规则筛选出多类高风险/危险作业项目，并将它们分别提取到不同的目标区域或报表中。 具体逻辑是： 读取数据源：从第1张工作表（Sheets(1)）的 A3 到 V 列，读取所有作业项目的明细数据。 按风险等级分类：针对每一行作
n8n科技资讯抓取 AI 总结发布
目标：每天 8:00 自动抓取 36氪 + 开源中国 RSS，用七牛云 LLM API 总结为头条风格短资讯，发布到今日头条号。 架构： n8n（Docker Alpine 容器）：编排工作流，7 个节点 Flask（宿主机）：Playwright 发布 + Qiniu 代
立即沟通
