Etsy 电商平台数据采集与清洗使用 DrissionPage + BeautifulSoup 搭建了一个稳定的网页爬虫框架，实现对 Etsy 平台珠宝类店铺和商品数据的自动化采集。采集的核心指标包括：店铺 ID、店铺名称、国家、开店年份、销售总量、评分、关注人数、商品数，以及商品层面的标题、价格（统一转换为 EUR）、定制化标签等。针对网页结构的动态加载问题，结合 Chromium 内核与 XPath/正则进行精准定位，避免采集过程中出现漏抓和重复。在数据清洗环节，利用 Pandas 对采集结果进行去重、缺失值处理、货币转换及统一编码（UTF-8），最终输出为...

Etsy 电商平台数据采集与清洗

企业服务-数据服务 y＝e^x

WMS仓储系统

企业服务-物流服务 Feng

项目名称：WMS仓储管理系统我的角色：架构师/核心开发工程师项目简介：本项目旨在为多个大型企业的自动化立体仓库(立库)提供高效、稳定的仓储管理解决方案。系统覆盖了从入库、出库、调拨到盘点的全流程仓储作业，实现了对库存货物的精细化管理和实时跟踪。我的职责：作为项目核心开发人员，深度参与了从需求分析、系统设计、开发编码到现场实施的全过程。负责核心业务模块的开发，确保系统功能的稳定与高效运行。负责WMS系统的现场部署、配置与调试，并解决实施过程中出现的各类技术问题。为客户提供系统操作培训及持续的技术支持，确保项目顺利上线和稳定运行。 ...

物联网电力数据网关软件系统

企业服务-行业细分软件杭城李工

基于客户指定的linux硬件产品，使用Qt构建物联网网关数据GUI管控系统，通过调用后端硬件接口，实现电力数据遥测查用和远程遥信、遥调。该系统功能主要包括：支持系统登录及控制安全：对于控制，设定等需要密码保护，设备内置多个账户和密码（可修改的配置文件中读取），支持用户密码修改；支持电力节点各类电压、电流、和强力开关数据状态查看及断路器开关操作；支持遥测、遥信数据查看；支持RTU固件版本、历史数据、故障记录和日志查询；支持电力设备顺序记录数据、控制记录和历史数据等清除；支持系统串口、网口和时钟配置；支持数据和配置导出；支持固件更新；具有系统日志、硬件节点配置等功能。项...

IT设施监控与管理系统

企业服务-行业细分软件 CL.Lau

本系统核心功能是实时监控企业IT重要设施如数据中心服务器的运行状态，包括CPU使用率、内存使用情况、硬盘空间、网络状态等关键指标。通过这些数据的实时获取，IT管理者可以迅速了解服务器的健康状况。一旦某项指标超出正常范围，系统会立即触发报警，通过邮件或短信的方式通知管理员。这种快速的反应机制，大大缩短了问题发现到处理的时间，有效避免了潜在的风险和损失。系统核心部件包括采集器和监控系统，采集器负责收集被监控的IT设施主要包括服务器、数据库、中间件(应用/Web服务器等)的状态和资源信息。监控系统除了管理模块外主要对设施进行监控和报警处理。系统功能模块包括系统管理（用户、角色、菜单、部门、岗...

IT设施监控与管理系统

企业服务-行业细分软件 CL.Lau

跨境电商物流报关信息管理系统

企业服务-物流服务 CL.Lau

该系统是结合跨境电商物流企业为满足报关要求，需对跨境电商的订单中用户身份实名认证并形成规定的资料报送海关。系统融合了公安部的身份核验平台完成身份证件的要素核验。 1. 系统功能包括：用户登录/注销，用户管理、企业管理、数据导入(订单数据上传/审核)，二要素核验(订单用户身份ey证信息核验，核验结果查询(输出汇总表/报送资料下载)等。 2. 系统用户角色主要包括系统管理员、企业管理员、企业操作员等；系统管理员对管辖的企业的进行管理(维护企业和企业管理员)。企业管理员和企业操作员负责该企业所有业务处理，企业管理员可创建企业的操作员及审核相关业务操作。...

司法拍卖数据智能监测系统

企业服务-数据服务 🎩

作为Python技术负责人，主导开发了面向法院执行环节的智能监测平台，核心功能包括： 1. 实时风险预警：基于规则引擎与大数据分析，自动识别拍卖公告期异常、起拍价设定错误、禁用表述等12类风险，触发二级预警机制（如红色弹窗提示），助力法官在挂拍前完成修正。 2. 全流程数据追踪：构建分布式爬虫集群，日均采集10万+条司法拍卖数据，通过Pandas清洗引擎提升字段完整率至99%，实现从财产录入到成交的全节点可视化监控。 3. 智能辅助决策：集成阿里拍卖历史数据训练回归模型，为房产、车辆等资产提供一键询价功能，缩短起拍价评估时间80%，推动网...

药品数据清洗匹配工具

企业服务-数据服务 🎩

作品介绍：药品数据清洗匹配工具 1. 智能数据匹配根据药品批准文号和规格自动匹配基础数据库，支持复杂规格清洗（如去除“/盒”、“盒”等干扰字符），采用双字段匹配机制确保高准确率。 2. 自动化处理流程一键完成数据清洗、匹配、填充全流程，自动标注未匹配项并生成报告，可视化进度反馈，支持百万级数据处理。 3. 用户友好界面三键式操作设计（选择源数据/基础库/输出路径），实时文件路径显示，内置错误预警系统，自动捕获常见异常。 4. 技术亮点采用Pandas内存优化技术，效率比传统Excel公式提升...

跨境商品雷达

企业服务-数据服务 nmj

服务于跨境进口商的实时比价系统，技术亮点： 1. 反爬突破：通过 Selenium模拟多国IP登录（自研代理池轮换策略），规避Amazon/乐天反爬； 2. 智能解析：融合OCR与深度学习模型，验证码识别率92%+； 3. 实时预警：检测到价差＞10%时自动触发钉钉告警（接口调用次数脱敏）； 4. 合规声明：严格遵守目标站点 robots.txt，延迟请求≥3秒/次。...