ID:405126

李林沛

后端开发

  • 公司信息:
  • 北京慧制科技有限公司
  • 工作经验:
  • 10年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 可工作日远程
  • 所在区域:
  • 合肥
  • 全区

技术能力

在 Python 后端开发领域,深耕 Django REST framework(DRF)框架,能熟练运用其核心组件构建高可用的 RESTful API 服务。精通 DRF 序列化器(Serializer)的自定义与嵌套设计,可根据业务需求实现复杂数据结构的序列化与反序列化,同时灵活运用视图集(ViewSet)、路由器(Router)简化接口开发流程,结合过滤器(FilterSet)、分页器(Pagination)实现数据的高效筛选与分页展示。针对权限控制,能基于 DRF 的权限类(Permission Classes)设计多维度权限体系,适配不同角色的访问需求,同时通过信号机制(Signals)处理模型数据的联动逻辑,提升系统的可扩展性。

在数据采集领域,熟练使用 Scrapy 框架开发分布式爬虫系统,能自定义下载中间件(Downloader Middleware)处理 IP 代理池、User-Agent 伪装等反爬策略,通过管道(Pipeline)实现数据的清洗、去重与持久化存储(支持 MySQL、MongoDB、Redis 等)。同时掌握 requests、aiohttp 等库进行轻量级爬虫开发,结合正则表达式、BeautifulSoup、lxml 等解析工具提取结构化与非结构化数据,针对动态渲染页面能通过 Selenium、Playwright 实现模拟浏览器操作,确保数据采集的完整性。此外,具备爬虫性能优化经验,通过并发控制、任务调度(Celery)提升爬取效率,同时遵循 robots 协议,平衡数据采集与网站合规性。

在配套技术栈方面,熟练掌握 MySQL、PostgreSQL 等关系型数据库的索引设计、SQL 优化与事务处理,能使用 Redis 实现缓存、会话存储及分布式锁,提升系统响应速度。具备 Docker 容器化部署经验,可通过 Docker Compose 编排多服务应用,结合 Nginx 实现反向代理与负载均衡。同时了解 CI/CD 流程(Jenkins、GitLab CI),能通过单元测试(pytest)保障代码质量,具备良好的代码规范与版本控制(Git)习惯。

项目经验

主导开发一款 “查询工具软件”,旨在解决企业内部各业务系统数据孤岛问题,实现跨平台数据的统一检索与分析。项目整体采用 “爬虫采集 + 后端 API + 前端可视化” 架构,本人负责后端核心开发与爬虫系统搭建,协调 5 人开发团队完成需求分析、架构设计、开发测试及上线部署全流程,项目周期 2年,用户突破20万+。

在技术实现上,后端基于 Django REST framework 构建核心 API 服务:设计多维度数据模型(涵盖用户、数据源、查询记录等),通过 DRF 序列化器实现复杂关联数据的高效返回;开发自定义过滤器组件,支持按数据源类型、时间范围、关键词等多条件组合查询,结合 Redis 缓存热门查询结果,将查询响应时间从 500ms 优化至 80ms 以内;设计基于角色的权限管理模块,区分管理员、普通用户、游客权限,限制数据查看与操作范围,同时通过 DRF 的节流类(Throttle Classes)防止接口滥用。针对数据采集模块,采用 Scrapy 开发分布式爬虫集群:配置 100+IP 代理池与动态 UA 池,通过自定义中间件突破目标网站反爬限制,支持同时爬取 15 + 外部数据源(包括行业资讯平台、竞品数据网站、内部业务系统接口);开发数据清洗管道,利用 Pandas 处理非结构化数据,通过正则匹配与规则校验实现数据去重与标准化,确保采集数据准确率达 98% 以上。

项目开发过程中,解决多项关键技术问题:针对爬虫集群任务调度混乱问题,引入 Celery 分布式任务队列,实现爬虫任务的动态分配与监控,提升爬取效率 30%;针对多源数据查询慢问题,优化数据库索引结构(新增联合索引 3 个),并通过 Redis 缓存热点数据,减少数据库访问压力 60%;针对用户查询历史追溯需求,设计查询日志存储与分析模块,通过 DRF 接口提供历史查询记录的检索与导出功能。项目上线后,通过用户反馈迭代优化 2 个版本,新增数据对比分析、自定义报表导出等功能,显著提升用户工作效率,减少数据检索时间成本 70%,获得企业技术部门年度优秀项目奖。此外,主导编写项目开发文档与用户手册,完成团队技术交接,确保系统后续维护的便利性。

案例展示

  • 标准查

    标准查

    “标准查” 作为多源标准聚合工具,技术上采用 Python 生态构建:用 Scrapy 爬虫集群对接国标平台 API,通过动态代理池突破源站限制,实现数万条标准的实时同步。基于 DRF 设计 RESTful 接口,结合 Redis 缓存热点数据与向量数据库优化语义检索,解决多源异

  • 产品查

    产品查

    “产品查” 作为商品数据聚合工具,技术上采用 Scrapy 集群爬取电商平台与编码数据库,通过动态代理池突破反爬限制,实现千万级商品数据实时同步。基于 DRF 构建 RESTful 接口,用 Redis Cluster 缓存热点数据,结合布隆过滤器防穿透,多级清洗管道保障数据标准

  • 外墙检测软件

    外墙检测软件

    项目简介:基于Python开发的外墙缺陷智能检测工具,核心采用YOLOv5模型实现裂缝、空鼓等缺陷的实时识别与定位。 技术实现: 使用Python构建全流程框架,通过OpenCV预处理无人机航拍图像,结合YOLOv8训练自定义缺陷检测模型(数据集含2000+标注样本),实现缺

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服