负责设计、开发和维护高效的爬虫系统，收集和分析大规模的数据。
开发并优化数据抓取算法和策略，提高数据采集的准确性和效率。
设计和实现自动化的数据处理和清洗流程，确保数据质量和一致性。
处理动态网页及反爬虫机制，使用代理IP、验证码识别等解决方案。
与团队成员合作，参与需求分析和系统设计，确保爬虫系统符合业务需求。
掌握技术技能:
编程语言: Python, JavaScript,HTML
爬虫框架和工具: , Selenium, Requests等
数据库: MySQL, MongoDB
数据分析和可视化: pandas, Tableau等
版本控制: Git
操作系统: Linux, Windows

房产信息收集：开发一个爬虫来收集房地产网站上的房屋信息，如价格、面积、位置等。这对于房地产经纪人或购房者来说是一个有用的工具，可以帮助他们快速筛选和比较不同房源。
数据采集项目：创建一个爬虫来从特定网站中收集数据，例如新闻网站、电子商务平台或社交媒体。你可以抓取标题、摘要、发布日期等信息，并将其存储在数据库中，以便进一步分析和处理。