泪
爬虫工程师 · 3年经验 · 华为
0
累计接单
0
用户评价
0
被收藏
技术能力
作为一名Python爬虫工程师，我有着扎实的编程基础和丰富的网络爬虫经验。以下是我简历的主要内容：
教育背景：
学位：河南理工大学，计算机科学专业，本科学士学位，2022年毕业
技术技能：
编程语言： 精通Python，熟悉Java和C++
爬虫框架： 熟悉Scrapy和BeautifulSoup，能够高效地抓取和解析网页数据
数据库： 熟悉MySQL和MongoDB，能够存储和管理大量的爬取数据
数据处理和分析： 熟悉Pandas和NumPy，能够对爬取的数据进行清洗和分析
反爬虫技术： 了解常见的反爬虫策略和应对方法，能够设计和实现反反爬虫机制
项目经验：
教育背景：
学位：河南理工大学，计算机科学专业，本科学士学位，2022年毕业
技术技能：
编程语言： 精通Python，熟悉Java和C++
爬虫框架： 熟悉Scrapy和BeautifulSoup，能够高效地抓取和解析网页数据
数据库： 熟悉MySQL和MongoDB，能够存储和管理大量的爬取数据
数据处理和分析： 熟悉Pandas和NumPy，能够对爬取的数据进行清洗和分析
反爬虫技术： 了解常见的反爬虫策略和应对方法，能够设计和实现反反爬虫机制
项目经验：
项目经验
项目经验：
项目一： 开发了一个基于Scrapy框架的网络爬虫，爬取并解析了数十万条电商网站的商品信息，并存储到MongoDB数据库中
项目二： 构建了一个舆情监测系统，使用爬虫定时抓取新闻网站和社交媒体上的相关信息，并使用自然语言处理技术进行情感分析和关键词提取
项目三： 参与开发了一个大规模数据采集平台，负责设计和实现分布式爬虫架构，能够同时处理上百个爬虫任务
项目一： 开发了一个基于Scrapy框架的网络爬虫，爬取并解析了数十万条电商网站的商品信息，并存储到MongoDB数据库中
项目二： 构建了一个舆情监测系统，使用爬虫定时抓取新闻网站和社交媒体上的相关信息，并使用自然语言处理技术进行情感分析和关键词提取
项目三： 参与开发了一个大规模数据采集平台，负责设计和实现分布式爬虫架构，能够同时处理上百个爬虫任务
案例展示
分布式爬虫架构
构建了一个舆情监测系统，使用爬虫定时抓取新闻网站和社交媒体上的相关信息，并使用自然语言处理技术进行情感分析和关键词提取，参与开发了一个大规模数据采集平台，负责设计和实现分布式爬虫架构，能够同时处理上百个爬虫任务
proxy_pool
Python 爬虫代理池，核心功能定时采集网上发布的免费代理，验证是否可用，然后自建代理池，提供了 API 和 CLI 两种方式。 项目开源协议为 MIT，最近一次更新时间为 16 小时前。 ————————————————
proxy_pool
Python 爬虫代理池，核心功能定时采集网上发布的免费代理，验证是否可用，然后自建代理池，提供了 API 和 CLI 两种方式。 项目开源协议为 MIT，最近一次更新时间为 16 小时前。
立即沟通
