时政点评

1.在西安全景数据技术服务有限公司从事Java爬虫方面的工作，公司主要做舆情监控，为上市公司提供正负面新闻，主要做的是垂直搜索，从财和新闻类网站从爬取需要的内容，然后经过预处理，最后呈现在客户端，客户端主要是PC客户端还有手机客户端，主要用到srping mvc,hadoop,hbase,分布式爬虫技术，自然语言处理，还有部署惠普的idol，进行相关大数据的查询和预处理工作，数据库主要为mysql。本人主要负责网络爬虫这块，所用到的技术主要是webmagic,WebCollector,jsoup，XPAHT解析,做相应的信息抽取，正则表达式完成对代码的过滤，对微博页面的爬虫频繁采集，导致了IP封锁，后来采取了反爬虫代理IP池轮换，更换不同的ip地址来爬取内容，防止对IP的封锁，并且使用布隆过滤器做去重处理，本人并且完成爬虫工具NT项目的改造。原有的NT爬虫系统存在比较多，使用起来不方便，因为是基于javaswing开发，后来进行改造，部署到公司的服务器上，采用web浏览器访问的方式，大大简化了使用人员的工作成本，新闻内容的采集系统为FMS,并且对原有的FMS信源系统进行了改造，原有的信源系统需要人工进行独立的配置，内容的划分，后对FMS系统进行升级改造，实现EXCLE表格的批量上传处理功能，大量的简化了人工配置的繁琐。大量的上市公司需要百度和其他搜索引擎的正负面舆情，对百度和其他搜索引擎上面的内容，采用了元搜索的方式，对多个独立搜索引擎进行整合、调用、控制和优化利用，完成信息的爬取工作。
2.在中软国际主要从事的数据湖业务方面的开发工作，随着企业业务的发展,数据出现井喷,数据量呈几何增长,数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”,已经承载不了全部水体,因此需要一个可以满足存储需求的,新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流,包括大量无序的非结构化数据(文本、图像、声音、网页等)。我们把它倒入数据湖,然后开始探索该数据。数据胡项目主要是提供数据的采集与入湖，数据的治理，数据的发布与订阅，项目整体所采用的框架是springboot 微服务架构,mybatis持久层框架，非关系型数据库redis,分布式可扩展的实时搜索和分析引擎Elasticsearch ，数据库是mysql,前后端进行分离的设计模式，因为数据湖本身业务比较繁杂，划分了不同模块进行数据的处理，我们项目组主要是负责数据集服务这块，数据集的申请和审批，数据的发布和订阅，数据集的授权，身份的校验，角色的定义，数据运营师负责数据集的发布，dataowener负责数据审批，租户下面的用户可以申请数据集，数据集也可以进行下架管理。数据集也有秘密等级划分，公开的数据集消费者可以直接申请，无需经过申请和审批，秘密级别的数据集需要经过不同角色的审批，本人主要负责了15个接口的开发工作，接口的风格是restful API接口设计规范，其中涉及到可订购数据集，按产品线划分，数据目录需求开发工作，数据集的下架，本人还负责实现了Spring-Aop切面+自定义注解实现后台用户操作行为的日志记录功能。后来对数据湖项目进行了改造，基于微服务架构进行拆分，主要技术框架是springboot,springcloud,在整个项目中，我们采用的是nginx+tomcat来部署的，nginx一方面做加载静态资源的服务器，另一方面来做反向代理和负载均衡。因为该项目需要在多个环境中运行，我们利用了nginx的反向代理解决了不同环境同系统访问地址不统一带来的问题。并且使用nginx做负载均衡服务器以应对大规模的用户量的并发。数据搜索系统采用当前最流行的全文检索技术Elaticserch实现。系统中使用redis做缓存，使用Rabitmq做消息中间件。后台数据库使用mysql数据库，做读写分离。
本人还负责linux上部署tomcat,nginx,部署非关系型数据库redis,MQ消息队列，负责shell脚本的编写，并使各个服务组件实现开机自启和数据库的自动备份，负责linux日常的各项维护工作。
3.系统主要应用于公司财富中心收入的计算，发行部门收入、费用的计算以及理财师发行绩效(销售佣金)的计算，业务部门(资产端)员工的
绩效计算，项目整体框架用springboot，主要用到的的技术
marven版本：3.2.1
springboot版本：2.0.5
数据库：oracle
持久层框架 ：mybatis
非关系型数据库：redis
代码管理工具：SVN.
Drools规则引擎
负责发行绩效核心模块的代码编写，负责把原有代码业务逻辑中存在硬编码的代码，把这核心业务逻辑转移到drools规则引擎上。负责表格导出导入模块的开发，主要用到Java的