数量使用jsoup,WebCollector.HttpClient.、Fiddler、HttpWatcher等技术 大数据整理与分析，数据库集群，缓存集群，数据库读写分离。。。。 精通J2EE规范下的JSP，Servlet，JDBC，JavaBean的编程 精通Struts2，SpringMVC，Hibernate，Spring，Mybatis框架和MVC模式进行开发 熟练使用Eclipse开发，Maven，Svn等工具 熟悉Mysql数据库以及基于Oracle、Mysql的关系型数据库编程 熟悉常见的设计模式，如：工厂，单例，代理等 熟悉cooking，session，Redis，Memcached等非关系型数据库编程 熟练使用JavaScript，Jquery前台技术 熟悉XML，Html，CSS，Ajax,Miniui,BootStorp等框架 熟练使用CXF，Webservice搭建程序对接SOAP调用 熟练使用Apache，Tomcat，Nginx , activeMQ应用服务器 掌握分布式框架springcolud，springboot，搜索引擎solr.Lucene

1）负责网站获取数据规则流程的设计，
2）负责处理一些疑难杂症反爬虫以及反反爬上技术以及手机抓包..，
3）对网站进行全面的分析装包工程，以及服务起的使用率...
2：采集回来的数据进行分类清洗入库以及分析数据
1）首先是存储数据的分类
2）分析数据规律进行有规律的抓取数据提高效率
3）数据库的性能，集群，缓存的使用，sql的优化，数据库查询速度的提升
3):总结
1）数据分析之后创建任务，进行二次规律性质的采集
2）项目采用机器人模式进行采集，以及分布式采集功能 
1：微信公众号开发， 1）参与需求分许，数据库设计， 2）负责功能模块开发，相关技术文档的编写， 3）sql语句优化，以及代码优化。 2：产品库设计与开发 1）产品库表设计。 2）框架选择与配置。 3）数据进行校验与整理。 3):新闻模块开发 1）数据库表设计。 2）代码优化处理业务逻辑代码，样式修改。等等。