其他后端兼职程序员外包

需求描述

主要任务描述

配合Web端应用开发工程师，实现部分业务的Ariflow任务调度、跑批。

Airflow 任务主要包含三个方面：

文件上传：
airflow里面创建 文件上传 DAG，里面包含1个task，写k8s 的job yaml 并运行 调用OCR的docker image（现有离线镜像）进行计算，并且监控任务状态，任务进度。任务完毕或者失败后更新相应的状态。

场景初始化：
airflow里面创建 场景初始化 DAG，里面包含1个task，写k8s 的job yaml 并运行 调用NER的docker image（现有离线镜像）进行计算，并且监控任务状态，任务进度。任务完毕或者失败后更新相应的状态（将状态同步至业务数据）。

跑批：
airflow里面创建 跑批 DAG，里面包含2个task，第一个task 写k8s 的job yaml 并运行 调用NER的docker image进行计算，并且监控任务状态，任务进度。任务完毕或者失败后更新相应的状态。
第二个task 是根据NER的结果完成规则的计算。并更新数据库状态。

项目私有化部署：
借助 ansible 一键部署至 k8s集群。

精通K8S、Airflow跑批、Docker、私有化部署、ansible。熟悉Python语言。