猿急送>

北京前端兼职程序员

ID：390869

Mail Machine

数据工程师

公司信息：
Beijing Steels Metal Co.,Ltd

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

1. 编程语言

Python（核心语言）：熟练使用Python编写爬虫，进行数据分析和后端开发。

JavaScript（前端交互）：掌握JavaScript及相关前端调试技术，处理动态网页数据抓取。

Shell/Bash（运维脚本）：编写自动化运维脚本，提高服务器管理效率。

2. 爬虫技术

Scrapy：使用Scrapy框架构建高效、可扩展的爬虫。

Selenium：处理JavaScript动态渲染页面数据采集。

Requests + BeautifulSoup：用于轻量级数据抓取和网页解析。

Mitmproxy/Fiddler：分析和抓取复杂网站数据。

反爬虫策略应对：熟悉User-Agent伪装、IP代理池、验证码识别（打码平台/机器学习）等技术。

3. 数据存储与管理

数据库：熟悉MySQL、PostgreSQL、MongoDB、Redis等数据库进行数据存储和索引优化。

Elasticsearch：用于大规模数据搜索和分析。

数据清洗与处理：利用Pandas、NumPy等工具进行数据预处理。

4. Web技术与运维

后端框架：Django / Flask 搭建数据接口，提供爬取数据API服务。

前端技术：HTML, CSS, JavaScript (Vue.js 基础) ，辅助处理Web页面调试。

服务器管理：熟练使用Linux服务器，Nginx/Apache 部署Web服务。

自动化运维：编写Shell脚本，使用Supervisor、Docker管理爬虫任务。

云服务：熟悉阿里云、AWS、腾讯云等云服务平台的部署与维护。

项目经验

1. 大规模电商数据爬取与分析

项目描述：搭建分布式爬虫系统，实时采集某大型电商平台的商品价格、评论数据。

技术栈：Scrapy + Selenium + Redis + MongoDB。

难点与优化：

采用IP代理池轮换IP，绕过封锁。

利用消息队列（RabbitMQ）优化数据处理，提高爬取速度。

数据存入MongoDB，结合Elasticsearch实现全文检索。

2. 竞争对手网站监控系统

项目描述：爬取竞争对手网站价格、活动信息，并定期生成分析报告。

技术栈：Scrapy + Flask + MySQL + Pandas。

难点与优化：

处理JavaScript渲染的动态数据，使用Selenium自动化浏览。

设计定时任务（Celery + Crontab），每日自动运行并推送报告邮件。

数据可视化：利用Matplotlib生成趋势图，提供直观分析。

3. 企业客户信息爬取与管理

项目描述：采集各大社交媒体和企业官网的客户信息，构建企业客户数据库。

技术栈：Requests + BeautifulSoup + PostgreSQL + Django REST Framework。

难点与优化：

通过代理IP池绕过访问限制。

设计数据去重机制，避免冗余数据存储。

搭建Web管理后台，支持数据导出、检索与分析。

4. 网站运维与自动化部署

项目描述：负责公司网站的运维和爬虫任务管理，实现自动化部署。

技术栈：Nginx + Docker + Shell + Supervisor。

难点与优化：

编写Shell脚本，实现定期数据备份。

使用Docker容器化爬虫，提高部署效率。

监控服务器资源占用，自动重启异常任务。

案例展示

智能数据采集与分析系统

该系统集成Web爬虫、数据存储、分析及可视化功能，可用于电商、市场监测和竞争分析。具备反爬虫机制处理能力，如代理IP轮换、验证码识别等。提供REST API服务，支持数据导出及可视化展示。
高性能Web应用框架

该框架集成Vue.js + Django，封装了一套高效的前后端开发流程，适用于中小型企业应用。具备用户权限管理、日志系统、API自动文档生成等功能。采用Docker一键部署，支持CI/CD自动化构建。