1.算法开放平台:智慧城市项目的一部分
其中负责算法模型的开发、训练、部署、迭代,其中包括行人识别、建筑分割、感知打分等算法。
使用pytorch为基础的mmseg、mmdet等全家桶进行训练,用docker进行torchserver的部署。
2.某开放平台的异步计算:这个项目是某银行合作的项目
负责实现的功能为在线实时计算和离线异步计算
使用django作为服务端,用celery+redis作为异步控制队列来对显卡进行调整。
3.某银行智慧城市项目:初期数据库建立
通过爬取某众点评数据进行建立数据库,用作后期模型建设
主要复制爬取某众点评的评论数据、某蜂窝图片数据的持续入库,主要克服了字体加密、使用ip池等
使用了scrapy框架和selenium等工具来对应不同数据源的爬取