雪色与月色之间

Python工程师

成都阿加犀智能科技有限公司 · 1年经验

日薪：￥500/8h

地点：成都高新

时间：下班后周六周日可工作日远程

ID:345526 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | Python Selenium HTML HTTP

网络爬虫技术：
掌握Python的爬虫库，如requests用于发送HTTP请求，BeautifulSoup或lxml用于解析HTML页面内容。
了解网页的结构和DOM树，以便从页面中提取所需信息。
掌握处理反爬虫机制的策略，如设置请求头、使用代理、处理cookie和session等。
对于动态加载的页面内容，可能需要使用Selenium或Pyppeteer等库来模拟浏览器行为。
数据处理能力：
清洗和整理从网页中提取的数据，确保数据的准确性和一致性。
使用Python的内置数据结构（如列表、字典）或pandas库来存储和操作数据。
Excel操作能力：
掌握pandas库将数据导出为Excel文件的功能，包括设置列名、格式化单元格等。
了解Excel文件的基本结构和内容，以便根据需要进行定制化的导出。
可配置性和模块化：
设计一个易于修改和扩展的爬虫框架，通过配置文件或命令行参数来设置目标网站、爬取内容等。
将不同功能的代码模块化，便于维护和复用。
异常处理和日志记录：
编写健壮的代码，能够处理网络请求失败、页面结构变化等异常情况。
使用Python的日志库记录关键信息和错误信息，便于调试和排查问题。

展开全部技术能力

项目经验

项目经验：自动化爬取某财经网站财经信息并导入Excel

项目背景：

在本项目中，我负责收集和分析每日的财经信息。由于某财经网站是一个知名的财经网站，它提供了大量的实时财经数据和信息。为了提高工作效率，我开发了一个自动化爬虫程序，用于每日定时爬取某财经网站的财经信息，并将这些信息整理后导入到Excel文件中，以便后续的分析和报告。

项目目标：

自动化爬取某财经网站的财经信息，包括新闻标题、发布时间、内容概要等。
将爬取到的信息按照时间顺序整理，并导入到Excel文件中。
设计一个易于修改和扩展的爬虫框架，以便未来可以爬取其他财经网站的信息。
技术实现：

网络爬虫：
使用Python的requests库发送HTTP请求到某财经网站网站。
利用BeautifulSoup库解析返回的HTML页面，提取新闻标题、发布时间和内容概要等信息。
设计了一套处理反爬虫机制的策略，包括设置请求头、使用代理IP等，以确保爬虫的稳定运行。
数据处理：
将爬取到的数据清洗和整理后，存储到pandas的DataFrame中。
使用pandas的排序功能，按照发布时间对信息进行排序。
Excel操作：
利用pandas的to_excel函数，将DataFrame中的数据导出为Excel文件。
在Excel文件中设置列名、调整列宽、设置字体和颜色等样式，以便更好地展示数据。
可配置性和模块化：
设计了一个配置文件，用于设置目标网站、爬取内容、导出路径等参数。
将爬虫程序拆分为多个模块，包括网络请求模块、数据解析模块、数据处理模块和Excel导出模块，以便维护和复用。
异常处理和日志记录：
编写了异常处理代码，用于捕获和处理网络请求失败、页面结构变化等异常情况。
使用Python的logging库记录关键信息和错误信息，便于后续的调试和排查问题。
定时任务：
利用操作系统的定时任务功能（如Linux的cron或Windows的任务计划程序），设置每天定时运行爬虫程序，自动爬取并导出财经信息。
项目成果：

通过本项目的实施，我成功开发了一个稳定可靠的自动化爬虫程序，能够每日定时爬取某财经网站的财经信息，并将这些信息整理后导入到Excel文件中。这不仅提高了我的工作效率，也为团队提供了准确及时的财经数据支持。

展开全部项目经验