往事
Python自动化与数据采集工程师
独立开发者 · 1年经验
日薪：
￥600/8h
地点：
广州 天河
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
可独立交付 Python 自动化、Excel/CSV 数据处理、网页信息采集、中小型业务后台及第三方 API 接入。接单后先确认输入样例、输出格式、异常规则和验收标准，再提供可运行程序、源代码、配置文件、错误日志及普通用户操作说明；客户电脑没有 Python 环境时，可打包为 Windows EXE。
1. 数据处理：支持多 Excel/CSV/JSON 文件合并、字段映射、订单号去重、空值与错误日期处理、金额统计、异常明细和结果导出；默认生成新文件，不覆盖原始数据。
2. 网页采集：使用 httpx、Playwright、BeautifulSoup、lxml 处理静态和动态页面，支持定时执行、分页采集、解析清洗、哈希去重、失败重试、网页快照和运行日志；仅承接合法公开数据或已获授权的数据采集。
3. Python 后端：熟悉 FastAPI、SQLAlchemy、Pydantic、Alembic、pytest，可开发 REST API、登录权限、文件上传、审批流程、数据查询、操作日志和统计接口。
4. API 与数据库：可对接主流 REST API 及大模型 API，处理认证、分页、字段转换、状态同步、重试和错误记录；熟悉 PostgreSQL、SQLite、DuckDB。
5. 前端与部署：可使用 React、TypeScript、Node.js 制作业务管理端，通过 Docker Compose 部署，也可制作 Windows 免安装工具。
6. 交付保障：交付前进行单元测试、接口测试、样例核对和异常场景验证，支持远程联调、问题定位及约定范围内的后续维护。
1. 数据处理：支持多 Excel/CSV/JSON 文件合并、字段映射、订单号去重、空值与错误日期处理、金额统计、异常明细和结果导出；默认生成新文件，不覆盖原始数据。
2. 网页采集：使用 httpx、Playwright、BeautifulSoup、lxml 处理静态和动态页面，支持定时执行、分页采集、解析清洗、哈希去重、失败重试、网页快照和运行日志；仅承接合法公开数据或已获授权的数据采集。
3. Python 后端：熟悉 FastAPI、SQLAlchemy、Pydantic、Alembic、pytest，可开发 REST API、登录权限、文件上传、审批流程、数据查询、操作日志和统计接口。
4. API 与数据库：可对接主流 REST API 及大模型 API，处理认证、分页、字段转换、状态同步、重试和错误记录；熟悉 PostgreSQL、SQLite、DuckDB。
5. 前端与部署：可使用 React、TypeScript、Node.js 制作业务管理端，通过 Docker Compose 部署，也可制作 Windows 免安装工具。
6. 交付保障：交付前进行单元测试、接口测试、样例核对和异常场景验证，支持远程联调、问题定位及约定范围内的后续维护。
项目经验
一、网页采集运营平台
面向需要持续采集公开网页信息的业务场景，完成 FastAPI 后端、任务调度、数据模型、采集解析、日志统计和管理界面。支持任务创建、编辑、启停和定时执行，自动完成网页下载、内容解析、数据清洗、质量检查、哈希去重、数据入库及原始快照保存；普通请求失败时可回退到浏览器动态采集。交付管理端、接口服务、示例配置、测试用例、CSV 导出和运行说明。
二、招标信息流转系统
使用 React、TypeScript、Express 和 PostgreSQL 开发信息协同系统，解决不同来源表格格式不统一、人工整理容易遗漏的问题。支持 Excel、CSV、TSV 导入，可识别非标准表头、中文日期、金额单位、重复项目和异常字段，数据先预检再写入。包含信息筛选、任务分发、结果确认、归档查询、权限隔离、操作日志、报表和数据导出，并提供数据库迁移、备份恢复及 Windows 便携演示版本。
三、订单内审与审批系统
围绕订单批量导入和审核流程开发多阶段审批、外部订单比对、业务规则检查、异常处理、金额分摊、额度查询、资金流水和月度汇总功能。导入与恢复前自动备份，所有修改、审核和异常处理均保留审计记录。交付健康检查、自动化测试、验收材料、审计资料导出和免安装演示包。
四、Excel 订单合并与月度统计工具
使用 Python 开发桌面批处理工具，读取多个工作簿并统一字段，按订单号去重，处理空值、无效金额、错误日期和缺失字段，输出清洗明细、月度金额统计及无法处理的数据。错误记录包含来源文件、原始行号和原因，便于复核；程序生成新文件而不覆盖原始数据，字段映射可按客户模板修改，并可打包为 Windows EXE。交付程序、源代码、示例文件、错误日志和操作说明。
面向需要持续采集公开网页信息的业务场景，完成 FastAPI 后端、任务调度、数据模型、采集解析、日志统计和管理界面。支持任务创建、编辑、启停和定时执行，自动完成网页下载、内容解析、数据清洗、质量检查、哈希去重、数据入库及原始快照保存；普通请求失败时可回退到浏览器动态采集。交付管理端、接口服务、示例配置、测试用例、CSV 导出和运行说明。
二、招标信息流转系统
使用 React、TypeScript、Express 和 PostgreSQL 开发信息协同系统，解决不同来源表格格式不统一、人工整理容易遗漏的问题。支持 Excel、CSV、TSV 导入，可识别非标准表头、中文日期、金额单位、重复项目和异常字段，数据先预检再写入。包含信息筛选、任务分发、结果确认、归档查询、权限隔离、操作日志、报表和数据导出，并提供数据库迁移、备份恢复及 Windows 便携演示版本。
三、订单内审与审批系统
围绕订单批量导入和审核流程开发多阶段审批、外部订单比对、业务规则检查、异常处理、金额分摊、额度查询、资金流水和月度汇总功能。导入与恢复前自动备份，所有修改、审核和异常处理均保留审计记录。交付健康检查、自动化测试、验收材料、审计资料导出和免安装演示包。
四、Excel 订单合并与月度统计工具
使用 Python 开发桌面批处理工具，读取多个工作簿并统一字段，按订单号去重，处理空值、无效金额、错误日期和缺失字段，输出清洗明细、月度金额统计及无法处理的数据。错误记录包含来源文件、原始行号和原因，便于复核；程序生成新文件而不覆盖原始数据，字段映射可按客户模板修改，并可打包为 Windows EXE。交付程序、源代码、示例文件、错误日志和操作说明。
往事
Python自动化与数据采集工程师 · 1年经验 · 独立开发者
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
可独立交付 Python 自动化、Excel/CSV 数据处理、网页信息采集、中小型业务后台及第三方 API 接入。接单后先确认输入样例、输出格式、异常规则和验收标准，再提供可运行程序、源代码、配置文件、错误日志及普通用户操作说明；客户电脑没有 Python 环境时，可打包为 Windows EXE。
1. 数据处理：支持多 Excel/CSV/JSON 文件合并、字段映射、订单号去重、空值与错误日期处理、金额统计、异常明细和结果导出；默认生成新文件，不覆盖原始数据。
2. 网页采集：使用 httpx、Playwright、BeautifulSoup、lxml 处理静态和动态页面，支持定时执行、分页采集、解析清洗、哈希去重、失败重试、网页快照和运行日志；仅承接合法公开数据或已获授权的数据采集。
3. Python 后端：熟悉 FastAPI、SQLAlchemy、Pydantic、Alembic、pytest，可开发 REST API、登录权限、文件上传、审批流程、数据查询、操作日志和统计接口。
4. API 与数据库：可对接主流 REST API 及大模型 API，处理认证、分页、字段转换、状态同步、重试和错误记录；熟悉 PostgreSQL、SQLite、DuckDB。
5. 前端与部署：可使用 React、TypeScript、Node.js 制作业务管理端，通过 Docker Compose 部署，也可制作 Windows 免安装工具。
6. 交付保障：交付前进行单元测试、接口测试、样例核对和异常场景验证，支持远程联调、问题定位及约定范围内的后续维护。
1. 数据处理：支持多 Excel/CSV/JSON 文件合并、字段映射、订单号去重、空值与错误日期处理、金额统计、异常明细和结果导出；默认生成新文件，不覆盖原始数据。
2. 网页采集：使用 httpx、Playwright、BeautifulSoup、lxml 处理静态和动态页面，支持定时执行、分页采集、解析清洗、哈希去重、失败重试、网页快照和运行日志；仅承接合法公开数据或已获授权的数据采集。
3. Python 后端：熟悉 FastAPI、SQLAlchemy、Pydantic、Alembic、pytest，可开发 REST API、登录权限、文件上传、审批流程、数据查询、操作日志和统计接口。
4. API 与数据库：可对接主流 REST API 及大模型 API，处理认证、分页、字段转换、状态同步、重试和错误记录；熟悉 PostgreSQL、SQLite、DuckDB。
5. 前端与部署：可使用 React、TypeScript、Node.js 制作业务管理端，通过 Docker Compose 部署，也可制作 Windows 免安装工具。
6. 交付保障：交付前进行单元测试、接口测试、样例核对和异常场景验证，支持远程联调、问题定位及约定范围内的后续维护。
项目经验
一、网页采集运营平台
面向需要持续采集公开网页信息的业务场景，完成 FastAPI 后端、任务调度、数据模型、采集解析、日志统计和管理界面。支持任务创建、编辑、启停和定时执行，自动完成网页下载、内容解析、数据清洗、质量检查、哈希去重、数据入库及原始快照保存；普通请求失败时可回退到浏览器动态采集。交付管理端、接口服务、示例配置、测试用例、CSV 导出和运行说明。
二、招标信息流转系统
使用 React、TypeScript、Express 和 PostgreSQL 开发信息协同系统，解决不同来源表格格式不统一、人工整理容易遗漏的问题。支持 Excel、CSV、TSV 导入，可识别非标准表头、中文日期、金额单位、重复项目和异常字段，数据先预检再写入。包含信息筛选、任务分发、结果确认、归档查询、权限隔离、操作日志、报表和数据导出，并提供数据库迁移、备份恢复及 Windows 便携演示版本。
三、订单内审与审批系统
围绕订单批量导入和审核流程开发多阶段审批、外部订单比对、业务规则检查、异常处理、金额分摊、额度查询、资金流水和月度汇总功能。导入与恢复前自动备份，所有修改、审核和异常处理均保留审计记录。交付健康检查、自动化测试、验收材料、审计资料导出和免安装演示包。
四、Excel 订单合并与月度统计工具
使用 Python 开发桌面批处理工具，读取多个工作簿并统一字段，按订单号去重，处理空值、无效金额、错误日期和缺失字段，输出清洗明细、月度金额统计及无法处理的数据。错误记录包含来源文件、原始行号和原因，便于复核；程序生成新文件而不覆盖原始数据，字段映射可按客户模板修改，并可打包为 Windows EXE。交付程序、源代码、示例文件、错误日志和操作说明。
面向需要持续采集公开网页信息的业务场景，完成 FastAPI 后端、任务调度、数据模型、采集解析、日志统计和管理界面。支持任务创建、编辑、启停和定时执行，自动完成网页下载、内容解析、数据清洗、质量检查、哈希去重、数据入库及原始快照保存；普通请求失败时可回退到浏览器动态采集。交付管理端、接口服务、示例配置、测试用例、CSV 导出和运行说明。
二、招标信息流转系统
使用 React、TypeScript、Express 和 PostgreSQL 开发信息协同系统，解决不同来源表格格式不统一、人工整理容易遗漏的问题。支持 Excel、CSV、TSV 导入，可识别非标准表头、中文日期、金额单位、重复项目和异常字段，数据先预检再写入。包含信息筛选、任务分发、结果确认、归档查询、权限隔离、操作日志、报表和数据导出，并提供数据库迁移、备份恢复及 Windows 便携演示版本。
三、订单内审与审批系统
围绕订单批量导入和审核流程开发多阶段审批、外部订单比对、业务规则检查、异常处理、金额分摊、额度查询、资金流水和月度汇总功能。导入与恢复前自动备份，所有修改、审核和异常处理均保留审计记录。交付健康检查、自动化测试、验收材料、审计资料导出和免安装演示包。
四、Excel 订单合并与月度统计工具
使用 Python 开发桌面批处理工具，读取多个工作簿并统一字段，按订单号去重，处理空值、无效金额、错误日期和缺失字段，输出清洗明细、月度金额统计及无法处理的数据。错误记录包含来源文件、原始行号和原因，便于复核；程序生成新文件而不覆盖原始数据，字段映射可按客户模板修改，并可打包为 Windows EXE。交付程序、源代码、示例文件、错误日志和操作说明。
案例展示
立即沟通
相似人才推荐：
上海python开发工程师 (上海金证股份有限公司) ，9年经验 ，500元/天
深圳后端工程师 (深圳市南伽科技) ，3年经验 ，500元/天
上海嵌入式与AI应用开发工程师 (上海熙凌电器有限公司) ，15年经验 ，800元/天
天津总线工程师 (腾讯文旅江苏文投集团项目) ，3年经验 ，500元/天
上海高级软件工程师 (上海一嗨信息技术服务有限公司) ，14年经验 ，500元/天
其他Python 脚本开发 (无) ，1年经验 ，500元/天
苏州高级开发工程师（python,java) (神州数码管理系统有限公司) ，10年经验 ，1000元/天
济南Python开发（兼职） (自由职业（无公司任职经历）) ，5年经验 ，500元/天
