项目1:威胁情报查询平台 Python开发工程师
项目描述: 本项目用于检索威胁情报IOC(IP、HASH、DOMAIN),主要功能包括:登录、注册、查询频率验证、API检索、文件上传检索、redis缓存、celery异步处理、数据关联可视化等;数据库数据达到40G+,共3000万+条数据。
责任描述: 1.负责整个产品原型的设计,搭建django网站框架
2.负责前端样式和后端接口的实现,并根据需求变化做相应的修改
3.负责项目的上线部署(Linux + Nginx + uWSGI)
4.负责数据的入库与数据清洗,后期对数据的准确性进行校验
5.负责后台管理页面的构建(配置Xadmin)
6.负责后期的查询速度优化,极大限度的提升用户体验
7.分析错误日志并优化项目
项目2:开源情报爬取 爬虫工程师
项目描述: 1.爬取CISCO TALOS、riskiq、IBM共享情报等国内外网站的开源情报
2.分析爬取数据进行标签提取和标注,补全字段入库
责任描述: 1.搜集国内外开源威胁情报网站
2.分析网站,编写爬虫,使用正则、BeautifulSoup、Xpath处理为有效数据
3.将收集到的数据进行分类,通过其它网站对字段进行补全入库
4.组建代理ip池,随机IP绕过反爬,部分网页通过Selenium处理
项目3:HW情报共享平台 Python开发工程师
项目描述: HW期间,突然下发平台构建任务,实际开发时间不足一周,主要功能包括:公告展示、文件上传、处理上传数据并展示、多个维度的统计图展示;通过对功能分析最终采用Xadmin来实现。
责任描述: 1.负责Xadmin部署并解决Xadmin自身存在的BUG
2.负责根据现有功能构建自定义页面并修改Xadmin源码
3.使用Echarts可视化框架构建统计图
4.负责构建celery定时任务修改密码,并通过邮件通知用户
5.负责项目的上线部署(Linux + Nginx + uWSGI)
6.负责使用期间的项目维护