【编程语言】
Python(主攻)— 日常开发语言,拿它写过爬虫、数据处理脚本、自动化工具。语法熟练,标准
库和第三方库用起来顺手。做过几个从数据采集到清洗入库的完整项目。
【爬虫与自动化】
Scrapy — 搭过完整的爬虫项目,中间件配置、请求调度、管道数据处理都走过一遍。能处理翻页
、登录态维持、Cookie同步、User-Agent轮换这些常见场景。
Selenium / Playwright — 处理动态加载页面,配合XPath和CSS选择器定位元素。写过浏览器自
动化脚本,处理需要模拟人工操作的数据采集场景。
easyocr — 处理过一些简单的图片验证码识别,配合爬虫流程使用。
Requests / httpx — 日常HTTP请求,熟悉Session维持、代理配置、超时重试等。
【数据处理】
pandas — 做数据清洗、转换、合并这些常规操作没问题。处理过CSV、Excel、JSON多种格式的数
据导入导出。
基本的数据分析可视化能搞定,出图展示结论够用。
【开发工具】
Git — 日常版本管理,分支操作、冲突解决这些常规场景都熟。
Linux基础操作 — 文件管理、权限配置、定时任务(Crontab)设置。
pipenv / venv — Python环境管理,项目依赖隔离。
PyInstaller — 将Python脚本打包成独立可执行文件。
【项目经历】
1. 每日侦察兵 — 自动搜集接单平台市场情报的Python工具,定时运行生成行情简报。涉及网络
请求、HTML解析、数据聚合。
2. 每日热点日报 —
自动采集多平台热点资讯并汇总为日报,涉及多渠道数据源整合和内容格式化输出。
3. 文件自动化工具集 —
CSV数据处理脚本、文件批量整理工具、日志分析脚本等,主要解决日常工作效率问题。
【我的工作方式】
接单前先沟通清楚需求,确认理解一致再动手。开发过程分阶段同步进度,有问题及时沟通。代
码交付时附带简单的使用说明,确保拿过去就能跑。目前主要做Python相关的中小型项目,爬虫
采集、自动化脚本、数据处理这些方向。
价格实在,交付靠谱。
项目一:接单市场情报采集工具
Python / 自动化采集 / 定时任务 / 数据聚合
独立开发的接单市场情报工具。每天自动从多个平台采集项目信息,经过清洗、分类、聚合后生成结构化行情简报。核心功能包括多渠道数据源并发采集、HTML解析与结构化提取、关键词分类过滤、定时自动运行。整个过程全自动,体现了我的核心理念——能交给机器的活儿就不用手动干。
项目二:多平台热点资讯日报系统
Python / 数据采集 / 内容聚合 / 自动化输出
自动采集多平台热点资讯并汇总为日报的系统。从多个信息源抓取热门内容,经过去重、分类、排序后生成统一格式的日报档。涉及多渠道数据源接入、内容结构化解析、重复内容过滤等流程。训练了处理多源异构数据的能力。
项目三:Python自动化工具集
文件处理 / 数据清洗 / 自动化脚本
独立开发的一系列Python实用工具:CSV数据处理工具(读取/筛选/合并/导出大型CSV)、文件批量整理工具(按类型/日期自动归档)、日志分析脚本(提取关键信息生成报告)。每个工具遵循 "简单实用、开箱即用"的原则。
自己做的接单市场情报工具。现在接单平台那么多,每天一个个翻太费时间了,干脆写个脚本让机器替我盯着。 每天早上自动跑一遍,从几个平台抓项目数据,然后清洗、分类、汇总成一份简报。哪些平台出了什么类型的项目、价格范围多少、什么方向需求多,扫一眼简报就知道了。 技术上也解决了几个实际
写了几个Python小工具,专门解决日常工作中重复性的文件处理问题。思路挺简单的——如果一件事每周都要手动做一次,那就写个脚本让它自己跑。 工具包里目前有三个东西: 一个是CSV处理工具,读取、筛选、合并、导出一条龙,偶尔需要处理几千行数据的时候不用打开Excel硬扛。第二个