1. 设计并开发爬虫系统，使用Scrapy框架爬取市场数据，负责产品数据爬取，然后进行mongodb存储，后台数据维护，数据清洗，对数据产品进行迭代和优化； 2. 对抓取数据进行消重，匹配，过滤等处理（ 使用python相关的库（numpy、pandas）等，分析市场同类产品的价格走势（基于SKlearn机器学习框架进行一些回归、分类、聚类，训练模型以及测试模型），用matplotlib对数据进行可视化，做出数据报告tableau，给销售部提供数据支持） 3. 对接运营，收集数据需求，提供需求分析，输出计划与执行方案； 4. 按照业务需求，对用户数据进行分析统计（ 根据公司的报告数据，预测客户的购买趋势，为公司业务部门提高业绩 ）以及NLP文字处理。