技术能力

1. 计算机、数学相关专业本科及以上学历，十年以上 JAVA 或 Python 开发经验；
2. 熟悉 Web 前端技术，包括 Ajax、Javascript、Jquery、React 等；
3. 熟悉 Linux，熟悉 Mysql，精通 Regular Express；
4. 熟悉 Htmlclient、Urllib、Netty 等通信框架；
5. 熟悉 webmagic、Scrapy、Nutch、Heritrix 等爬虫框架；
6. 具备分布式抓取系统开发经验；
7. 良好的沟通能力、团队配合与协作能力；
8、基本功扎实，熟练使用常用数据结构和相关算法，精通 java io、多线程、集合等；
9、熟悉缓存、消息机制、并发框架等；
10、熟悉Internet基本协议（如TCP/IP. HTTP等）；
11、熟悉HTML/DOM/XPATH/CSS，对DOM有一定的功底能够熟练使用Jsoup等进行分析网页，对模拟登录，模拟浏览器、APP抓取经验；
12、有Nutch、Heritrix、Scrapy、Hadoop等系统经验；
13、有基于网页结构的自动识别抽取算法，结构化结果的经验者；
14、对有可视化采集，基于JS的自动规则生成，分布式采集的经验者；
15、有从事舆情社交数据及热点采集分析等的工作经验者；
16、良好的团队合作意识，对技术饱有热情。

项目经验

大智慧舆情监控系统 2016年10月01日 - 2016年10月30日

项目类型 Web 网站
项目描述 通过关键词搜索，每隔5分钟获取全网微博的关键词信息，对获取到的微博文本进行 文本分析，对微博内容、评论内容进行语义分析，判断是否存在舆情情况；并可以查询到系统获取到的微博结果，把非结构化的数据，以结构化的形式展现出来。
行业 P2P 金融
我的职责 技术总监，负责整个项目的开发周期把控，技术难点攻破；超值超量的交付开发结果。开发团队成员的工作任务安排，每日项目开发进度的把控，遇到瓶颈问题及时调整，资源的对接。

——————————————————————————————————————————、
比亚迪舆情监控系统 2017年09月29日 - 2017年10月19日
项目类型 Web 网站
项目描述 通过 关键词矩阵，找到60个常用的汽车领域的站点，（其中包括：新闻、论坛、微博、微信、官方、政府），通过关键词矩阵每隔半小时进行搜索找到相关新闻、论坛、微博、微信信息，采集后，进行语义分析，得出实时的舆情反馈。
行业 交通
我的职责 技术负责，主要负责整个项目进度周期的把控 ，项目难点技术的攻克。项目资源的衔接，项目成员的开发任务的安排，每日站立会议的跟进，敏捷开发的应用。

———————————————————————————————————————————

证券公告表格解析系统 2018年05月01日 - 2018年05月31日

项目类型 Web 网站
项目描述 通过抓取250个证券网站的最新公告，拿到对应PDF、WORD、TXT，通过文档分析、目录树生成、PDF转换，表格读取、表格纠错、数据入库等环节，将所有获取下来的公告文件进行字段的解析，并将有价值的数据进行筛选，实现最终的存储。
行业 P2P 金融
我的职责 负责整个项目的进度把控，产品设计、技术难点攻克，团队成员的工作职责安排，资源设备申请，为最终交付成果负责。

团队情况