猿急送>

青岛其它兼职程序员

ID：427326

浪客剑心

大数据架构师，人工智能应用开发

公司信息：
亚信科技

工作经验：
14年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
青岛
全区

技术能力

1. 分布式存储计算：Hadoop(HDFS/YARN/MapReduce)、Hive数据仓库；

2. 实时采集组件：Flume日志采集，熟练自定义Flume插件开发；

3. 开发语言：Java、Python，具备自定义数据处理程序开发能力；

4. 中间件辅助：Kafka、Zookeeper集群部署运维；

5. 架构能力：大数据项目整体架构方案设计、集群高可用架构搭建、离线+实时混合链路规划、性能调优、故障排查。

项目经验

独立负责大数据平台整体架构设计与落地，从零完成Hadoop分布式集群部署、高可用架构搭建；基于业务多源日志场景，搭建Flume采集链路实现日志实时抽取；针对业务特殊过滤、数据转换需求，基于Java完成Flume自定义拦截器、自定义采集插件开发，自研数据清洗、数据校验处理程序；统筹离线数仓分层设计、数据流转全链路管控，输出完整架构设计文档、部署运维手册，保障平台稳定运行。

案例展示

数据自动分类与日报生成

本作品是一个基于Excel/VBA的作业安全风险数据自动分类与日报生成工具，专为企业安全督查部门的早会汇报场景设计。工具能够将每日录入的大量作业明细数据，按照多维风险等级规则自动完成分类筛选，并一键生成结构化的分类汇总报表，将原本需要人工逐条甄别、手动粘贴的30分钟工作量压缩至5
自动考试系统

基于 Flask + SQLite 的在线考试系统，支持单选题、多选题、判断题，具备自动组卷、计时考试、成绩分析等功能。
VBA宏自动分类数据

这段宏的核心功能是从原始数据表中，按特定规则筛选出多类高风险/危险作业项目，并将它们分别提取到不同的目标区域或报表中。具体逻辑是：读取数据源：从第1张工作表（Sheets(1)）的 A3 到 V 列，读取所有作业项目的明细数据。按风险等级分类：针对每一行作
n8n科技资讯抓取 AI 总结发布

目标：每天 8:00 自动抓取 36氪 + 开源中国 RSS，用七牛云 LLM API 总结为头条风格短资讯，发布到今日头条号。架构： n8n（Docker Alpine 容器）：编排工作流，7 个节点 Flask（宿主机）：Playwright 发布 + Qiniu 代