分布式人脸识别云服务
技术leader

编辑
2016.08 - 至今
项目是为了应对高并发，大容量底库的人脸识别请求设计的一套分布式人脸识别云服务,目的是开放给第三方厂家和内部SNG-Security使用的人脸识别服务

工作职责:

实现对大容量底库水平划分，可以设置自定义数量的slot数目，参考一致性hash方式，实现slot均匀分布在集群的计算节点上，计算单元就近存储底库数据，支持可选备份，备份分区也可以参与计算

实现水平扩容, 添加新的机器时，主分区根据一致性hash, 只需要动态的迁移部分slot到新添加的机器，同时备份分区也会调整

实现备份情况下的高可用，备份分区根据主分区的分布情况，随机备份在其他机器上，当一台机器下线，这台机器的主分区对应的备份分区切换成主分区，

实现主从分区同步的_sync接口，分区包含_version，且包含数据的change log,备份分区如果是创建,指定new参数，直接从主分区copy数据；如果是同步操作，主从分区的_version差异不大(小于10000条，因为change log数组长度10000)，直接根据change log同步；如果_version差异超过10000，直接删除备份分区，重新new主分区

实现管理节点对外的restful api服务和部分请求的map reduce

分布式存储
类似于amazon s3服务