自己做的接单市场情报工具。现在接单平台那么多,每天一个个翻太费时间了,干脆写个脚本让机器替我盯着。 每天早上自动跑一遍,从几个平台抓项目数据,然后清洗、分类、汇总成一份简报。哪些平台出了什么类型的项目、价格范围多少、什么方向需求多,扫一眼简报就知道了。 技术上也解决了几个实际问题:多平台同时采集怎么控制频率不被封、不同网站的数据格式不一样怎么统一处理、跑久了怎么避免重复抓取。用的Python,Scrapy做采集,pandas做数据处理,最后生成格式化报告。 做这个工具的核心思路就一句话——人应该做决策,机器应该做重复劳动。
写了几个Python小工具,专门解决日常工作中重复性的文件处理问题。思路挺简单的——如果一件事每周都要手动做一次,那就写个脚本让它自己跑。 工具包里目前有三个东西: 一个是CSV处理工具,读取、筛选、合并、导出一条龙,偶尔需要处理几千行数据的时候不用打开Excel硬扛。第二个是文件批量整理,指定一个文件夹就能按类型或者日期自动分类归档,特别适合电脑乱糟糟又不爱整理的人。第三个是日志分析脚本,能从服务日志里把关键信息提取出来生成报告,省去一条条翻的功夫。 每个工具都打包成了独立的可执行文件,拿到就能用,不需要配环境。技术栈就是Python标准库加pandas这些常用库,主打一个轻量实用。
自己做的接单市场情报工具。现在接单平台那么多,每天一个个翻太费时间了,干脆写个脚本让机器替我盯着。 每天早上自动跑一遍,从几个平台抓项目数据,然后清洗、分类、汇总成一份简报。哪些平台出了什么类型的项目、价格范围多少、什么方向需求多,扫一眼简报就知道了。 技术上也解决了几个实际问题:多平台同时采集怎么控制频率不被封、不同网站的数据格式不一样怎么统一处理、跑久了怎么避免重复抓取。用的Python,Scrapy做采集,pandas做数据处理,最后生成格式化报告。 做这个工具的核心思路就一句话——人应该做决策,机器应该做重复劳动。...
写了几个Python小工具,专门解决日常工作中重复性的文件处理问题。思路挺简单的——如果一件事每周都要手动做一次,那就写个脚本让它自己跑。 工具包里目前有三个东西: 一个是CSV处理工具,读取、筛选、合并、导出一条龙,偶尔需要处理几千行数据的时候不用打开Excel硬扛。第二个是文件批量整理,指定一个文件夹就能按类型或者日期自动分类归档,特别适合电脑乱糟糟又不爱整理的人。第三个是日志分析脚本,能从服务日志里把关键信息提取出来生成报告,省去一条条翻的功夫。 每个工具都打包成了独立的可执行文件,拿到就能用,不需要配环境。技术栈就是Python标准库加pandas这些常用库,主打一个轻量实用。 ...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人