狒狒的牙疼

1.基于python的分布式爬虫，支持多机扩展，支持静态和动态抓取，实现了抓取，清洗，存储，监控一体化方案。目前服役与新闻采集舆情类项目，抓取网站600余。架构采用scrapy redis kafka elk celery
2.nlp文本多标签分类，实现了开放领域的新闻多标签文本分类；文本地区归属识别；细粒度文本情感分析；新闻舆情热门话题发现聚类项目.。以上项目全部应用于新闻舆情数据挖掘相关的项目。
3.以图搜图项目端到端的实现了从传统特征提取到dl特征提取，预训练微调特征提取到hash搜索的解决方案。做过图像分类和物体检测方面的小应用。
4.大数据平台架构和搭建，运维和开发：日志收集体系，基于hadoop，hive的数据仓库体系，批处理和流处理的可配置话的etl和作业调度，态势感知流计算程序，日志分析和可视化程序
5.200余政务站点的错误链接，错别字，打开情况监测和扫描程序