。

web爬虫，逆向，数据分析
编程语言： Python (熟练), Java (基础), JavaScript (基础)
爬虫框架： Scrapy, Selenium, BeautifulSoup, Requests, PySpider
数据库： MySQL, MongoDB, SQLite
数据处理： Pandas, NumPy, Matplotlib
其他技术： Redis, Docker, Git, Linux基础
使用Scrapy框架开发并维护多个大型爬虫，爬取并处理来自各大电商网站的数据，支持数据分析团队的业务需求。
利用Selenium和BeautifulSoup进行动态网页抓取，解决了多个JavaScript渲染页面的数据抓取问题。
设计并优化数据存储架构，将爬取的数据存储到MongoDB和MySQL数据库，并确保数据处理的效率和准确性。
处理反爬虫机制，实施IP代理池、验证码识别、请求头伪装等策略，有效避免了爬虫被封禁。
定期对爬虫脚本进行监控和维护，保证数据更新的时效性与准确性。
参与公司内部Web数据抓取项目，使用Python编写爬虫脚本，抓取了多个新闻网站的数据，供数据分析团队使用。
优化了爬虫的爬取速度和数据质量，减少了服务器的负担，提升了数据获取的效率。
使用Pandas对爬取的数据进行了清洗、格式化和分析，支持业务决策过程。