1.智能运维管理平台 :用于通用的运维行业指标数据采集分析呈现的全栈监控系统
(1)运维指标数据采集(agent、中转、外网采集器灵活高效的结构)
(2)数据解析及数据挖掘(模式规则、AI异常检测、AI趋势、知识库推荐等)
(3)数据可视化呈现(数据报表、网络拓扑图)
2.聊天智能分析系统:
(1)数据导入分析:支持各大厂商的html格式取证报告及bcp格式数据导入,支持excel手动配置表头导入,并预设多种内置支持格式关系;从报告中提取虚拟身份账号、聊天、备注、资金等多维数据入库。
(2)信息提取功能:提取聊天中的手机、身份证、地址、邮箱等固定格式的敏感词;人工或系统预设的关键词,并基于原词库推荐新词组;提取聊天中的资金数据、媒体文件;
(3)基础数据及信息提取的列表展示与对话分析页面的模拟聊天工具界面并将特殊词组高亮显示;
(4)专项图谱分析页面,基于vis封装的包括好友、聊天、话单、资金等多个维度的案件联通图及单个节点拓展图等可视化分析模块;
3.通用爬虫项目:
(1)基于scrapy爬取行政处罚100多个网站,网站做成配置,大部分可共用的写在一个spider脚本中,获取不同配置定时抓取各个网站数据;
(2)百度、新浪、搜狗指数爬虫,搜狗通过截取页面js数据,直接输出;百度通过破解参数获取接口数据;新浪url参数未能破解,通过selenium移动图表事件并截图数据,再通过ocr识别获取数据
4.文档脱敏工具 :支持doc/docx/txt文档及模板上传并执行脱敏任务,使用nlp及正则对文档中的敏感信息进行智能识别,通过智能匹配类型规则,查找对应的替换词库将敏感词替换为脱敏后的词,并在word中加上机器脱敏识别的批注。
5.ETL数据定时采集工具:对接万得、天眼查、巨潮等第三方数据,每天定时通过提取巨潮公告中的财报内容,增量更新万得财务数据及其他需求数据并清洗入库。按照预警规则,解析指定公司的财务指标,将达到预警阈值的公司汇总日报、周报邮件,并定时发送。