wsw
软件开发工程师
千金药业 · 3年经验
日薪：
￥600/8h
地点：
其他
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
编程语言：熟悉Python，熟悉面向对象设计、装饰器、魔术方法，描述器等高级特性
爬虫与自动化：
1.熟练使用Selenium处理多窗口切换、显式等待、验证码识别、数据采集
2.熟悉requests、lxml、正则等网页抓取技术
3.熟练使用影刀RPA搭建无人值守业务流程机器人
数据处理：熟练使用pandas、numpy完成Excel/HTML/XML/CSV多源异构数据的解析、清洗、合并与拆分
数据库：熟悉MySQL，Oracle关系型数据库，熟悉Redis，MongoDB非关系型数据库，了解Neo4j图数据库
Web后端：熟悉Django，DRF框架，熟悉JWT鉴权、Celery定时任务、Channels（WebSocket）实时推送
Web前端：熟练使用Vue，ElementPlus，jQuery框架，能独立完成后台管理页面开发
AI应用：熟练使用LangChain框架，有基于通义千问（DashScope）/OpenAI API的智能体与RAG知识库问答搭建经验，可使用fastgpt提供AI服务
其他：熟悉Git，SVN，Docker/DockerCompose，Trae AI编程等
爬虫与自动化：
1.熟练使用Selenium处理多窗口切换、显式等待、验证码识别、数据采集
2.熟悉requests、lxml、正则等网页抓取技术
3.熟练使用影刀RPA搭建无人值守业务流程机器人
数据处理：熟练使用pandas、numpy完成Excel/HTML/XML/CSV多源异构数据的解析、清洗、合并与拆分
数据库：熟悉MySQL，Oracle关系型数据库，熟悉Redis，MongoDB非关系型数据库，了解Neo4j图数据库
Web后端：熟悉Django，DRF框架，熟悉JWT鉴权、Celery定时任务、Channels（WebSocket）实时推送
Web前端：熟练使用Vue，ElementPlus，jQuery框架，能独立完成后台管理页面开发
AI应用：熟练使用LangChain框架，有基于通义千问（DashScope）/OpenAI API的智能体与RAG知识库问答搭建经验，可使用fastgpt提供AI服务
其他：熟悉Git，SVN，Docker/DockerCompose，Trae AI编程等
项目经验
项目描述：集团需要从全国数千家医药商业公司采集药品的购进、销售（总部配送，门店销售）、库存（总部库存，门店库存）三类流向数据，用于营销决策分析。各商业公司的数据提供方式差异较大，且文件格式涵盖Excel、HTML、XML等多种形态。平台目前已覆盖全国20余个省份、3000+采集与转换脚本，数据经采集、清洗后录入数据库，并增量同步至英克ERP系统对外提供服务。
主要职责：
框架设计与复用：基于模板方法模式维护BaseScript采集基类，封装日志记录、状态上报、异常重试等通用能力；新增一家商业公司仅需继承基类并复写少量抓取方法，支撑3000+脚本的规模化维护
多渠道采集体系：覆盖网查（Selenium自动化登录B2B平台下载报表）、邮箱（IMAP按主题/发件人规则下载附件）、FTP（ftplib按时间/大小增量下载）、插件直连（对接供应商数据库）四种渠道
动态调度引擎：通过模块动态导入工具实现脚本自动发现、热加载与批量调度，支持按省份/维护人筛选、失败自动重试、执行耗时统计，运行状态实时写入数据库供监控平台展示
数据处理与三层入库架构：pandas统一解析Excel/HTML/XML，处理合并单元格、多Sheet、编码转换、xls/xlsx格式转换；设计dev→mid→fnl三层数据流，通过Oracle视图去重、存储过程事务方式增量同步至数仓
主要职责：
框架设计与复用：基于模板方法模式维护BaseScript采集基类，封装日志记录、状态上报、异常重试等通用能力；新增一家商业公司仅需继承基类并复写少量抓取方法，支撑3000+脚本的规模化维护
多渠道采集体系：覆盖网查（Selenium自动化登录B2B平台下载报表）、邮箱（IMAP按主题/发件人规则下载附件）、FTP（ftplib按时间/大小增量下载）、插件直连（对接供应商数据库）四种渠道
动态调度引擎：通过模块动态导入工具实现脚本自动发现、热加载与批量调度，支持按省份/维护人筛选、失败自动重试、执行耗时统计，运行状态实时写入数据库供监控平台展示
数据处理与三层入库架构：pandas统一解析Excel/HTML/XML，处理合并单元格、多Sheet、编码转换、xls/xlsx格式转换；设计dev→mid→fnl三层数据流，通过Oracle视图去重、存储过程事务方式增量同步至数仓
ID:436353
复制
wsw
软件开发工程师 · 3年经验 · 千金药业
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
编程语言：熟悉Python，熟悉面向对象设计、装饰器、魔术方法，描述器等高级特性
爬虫与自动化：
1.熟练使用Selenium处理多窗口切换、显式等待、验证码识别、数据采集
2.熟悉requests、lxml、正则等网页抓取技术
3.熟练使用影刀RPA搭建无人值守业务流程机器人
数据处理：熟练使用pandas、numpy完成Excel/HTML/XML/CSV多源异构数据的解析、清洗、合并与拆分
数据库：熟悉MySQL，Oracle关系型数据库，熟悉Redis，MongoDB非关系型数据库，了解Neo4j图数据库
Web后端：熟悉Django，DRF框架，熟悉JWT鉴权、Celery定时任务、Channels（WebSocket）实时推送
Web前端：熟练使用Vue，ElementPlus，jQuery框架，能独立完成后台管理页面开发
AI应用：熟练使用LangChain框架，有基于通义千问（DashScope）/OpenAI API的智能体与RAG知识库问答搭建经验，可使用fastgpt提供AI服务
其他：熟悉Git，SVN，Docker/DockerCompose，Trae AI编程等
爬虫与自动化：
1.熟练使用Selenium处理多窗口切换、显式等待、验证码识别、数据采集
2.熟悉requests、lxml、正则等网页抓取技术
3.熟练使用影刀RPA搭建无人值守业务流程机器人
数据处理：熟练使用pandas、numpy完成Excel/HTML/XML/CSV多源异构数据的解析、清洗、合并与拆分
数据库：熟悉MySQL，Oracle关系型数据库，熟悉Redis，MongoDB非关系型数据库，了解Neo4j图数据库
Web后端：熟悉Django，DRF框架，熟悉JWT鉴权、Celery定时任务、Channels（WebSocket）实时推送
Web前端：熟练使用Vue，ElementPlus，jQuery框架，能独立完成后台管理页面开发
AI应用：熟练使用LangChain框架，有基于通义千问（DashScope）/OpenAI API的智能体与RAG知识库问答搭建经验，可使用fastgpt提供AI服务
其他：熟悉Git，SVN，Docker/DockerCompose，Trae AI编程等
项目经验
项目描述：集团需要从全国数千家医药商业公司采集药品的购进、销售（总部配送，门店销售）、库存（总部库存，门店库存）三类流向数据，用于营销决策分析。各商业公司的数据提供方式差异较大，且文件格式涵盖Excel、HTML、XML等多种形态。平台目前已覆盖全国20余个省份、3000+采集与转换脚本，数据经采集、清洗后录入数据库，并增量同步至英克ERP系统对外提供服务。
主要职责：
框架设计与复用：基于模板方法模式维护BaseScript采集基类，封装日志记录、状态上报、异常重试等通用能力；新增一家商业公司仅需继承基类并复写少量抓取方法，支撑3000+脚本的规模化维护
多渠道采集体系：覆盖网查（Selenium自动化登录B2B平台下载报表）、邮箱（IMAP按主题/发件人规则下载附件）、FTP（ftplib按时间/大小增量下载）、插件直连（对接供应商数据库）四种渠道
动态调度引擎：通过模块动态导入工具实现脚本自动发现、热加载与批量调度，支持按省份/维护人筛选、失败自动重试、执行耗时统计，运行状态实时写入数据库供监控平台展示
数据处理与三层入库架构：pandas统一解析Excel/HTML/XML，处理合并单元格、多Sheet、编码转换、xls/xlsx格式转换；设计dev→mid→fnl三层数据流，通过Oracle视图去重、存储过程事务方式增量同步至数仓
主要职责：
框架设计与复用：基于模板方法模式维护BaseScript采集基类，封装日志记录、状态上报、异常重试等通用能力；新增一家商业公司仅需继承基类并复写少量抓取方法，支撑3000+脚本的规模化维护
多渠道采集体系：覆盖网查（Selenium自动化登录B2B平台下载报表）、邮箱（IMAP按主题/发件人规则下载附件）、FTP（ftplib按时间/大小增量下载）、插件直连（对接供应商数据库）四种渠道
动态调度引擎：通过模块动态导入工具实现脚本自动发现、热加载与批量调度，支持按省份/维护人筛选、失败自动重试、执行耗时统计，运行状态实时写入数据库供监控平台展示
数据处理与三层入库架构：pandas统一解析Excel/HTML/XML，处理合并单元格、多Sheet、编码转换、xls/xlsx格式转换；设计dev→mid→fnl三层数据流，通过Oracle视图去重、存储过程事务方式增量同步至数仓
立即沟通
