本项目为豆瓣电影 Top250 数据采集工具,由我独立开发,主要实现电影榜单信息自动抓取、图片下载、结构化存储功能。 系统功能模块: - 自动翻页采集(支持 Top250 全部分页) - 电影基本信息提取(片名、导演/演员、上映年份、制片国家/地区) - 电影简介与经典台词提取 - 电影海报图片自动下载 - 按电影名称自动创建独立文件夹 - 图片与文本信息分类存储 - 异常跳过与空值处理 我在项目中负责全部开发工作,包括: - 页面结构分析与 XPath 提取规则设计 - 分页参数构造与请求复用 - 多字段数据清洗与合并 - 文件系统操作(目录创建、图片写入、...
本项目为 51job 招聘网站的爬虫系统,由我独立开发,主要实现职位信息的自动化采集与本地存储。 系统包含以下核心功能模块: - 关键词搜索与多页翻页控制 - 职位列表与详情页数据提取 - 动态页面处理(Selenium + 显式等待) - 反爬策略(随机延迟、无头模式、自动化特征隐藏) - 数据清洗与结构化存储 - 文件自动命名与重名版本控制 - 日志系统记录运行状态 我在项目中负责全部开发工作,包括需求分析、技术选型、代码实现、异常处理与调试。 技术栈方面,主要使用 Python + Selenium + lxml + logging,采用面向对象方式组织代...
开发环境: IntelliJ IDEA + MySQL+ JDK1.8 + Maven + Git 项目架构:SpringBoot +Vue + Mybatis-Plus 技术应用: RabbitMq+ Redis + Elasticsearch + OCR 项目简介: 整个项目是以自助零售设备、精选优品智能配送为主的新零售模式,主要分为两部分: 自助售货机和便利商城; 自助售货机:运营商模块、系统管理模块、自助售货机模块、反馈模块、物流配送模块、订单模块; 便利商城:用户模块、商家模块、支付订单模块、团购模块、活动模块、物流配...
开发环境: IntelliJ IDEA + MySQL+ JDK11 + Maven + Git 项目架构: SpringBoot +Spring-Cloud Alibaba + JPA + VUE3 技术应用: RocKetMQ + Redis +Getaway + OpenFeign + Nacos 项目简介: 作为小米汽车软件生态的核心支撑系统之一,该测试管理系统服务于小米智能汽车研发全流程,旨在解决多项目组协同测试时用例管理效率低、版本追溯难、数据孤岛等痛点,覆盖整车电子电气架构(EEA)下的软件测试全生命周期管理。 责任描述: 配置...
项目概述: 本项目是一个高性能的底层网络流量监控与安全分析系统,旨在通过网络嗅探技术实时抓取、深度解析网络数据包,提供多维度的流量统计与异常行为预警。该系统摒弃了臃肿的高层封装,直接深入系统底层,具备极强的网络协议栈穿透与解析能力。 核心功能模块: 底层实时抓包引擎: 基于 libpcap/WinPcap 核心库构建底层抓包模块,开启网卡混杂模式,实现对局域网底层物理链路数据帧的无遗漏捕获。 多层协议深度解析: 深入剖析 TCP/IP 协议栈,精准解析链路层 (Ethernet II)、网络层 (IPv4/IPv6, ARP, ICMP)、传输层 (TCP, UDP) 头部结构,并支持...