张临玉
爬虫工程师
无 · 1年经验
日薪：
￥500/8h
地点：
广州
时间：
可工作日远程可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
Python爬虫：熟练使用 requests、httpx、aiohttp、Scrapy 进行数据采集；熟悉 XPath、BeautifulSoup、lxml、正则解析；掌握多线程、协程、代理IP池、Cookie池、UA池、限速重试等常见采集方案；了解 Selenium、Playwright 处理动态渲染页面。
JS逆向：熟悉 Chrome DevTools、Charles/Fiddler/mitmproxy 抓包分析；了解 Webpack 混淆、JS 扣代码、Node.js 补环境；能分析常见 sign、token、cookie 参数生成逻辑；了解 AES、RSA、MD5、HMAC、SHA 等常见加密方式；能使用 Python 复现简单加密参数。
数据库入库：熟悉 MySQL、MongoDB、SQLite、Redis；熟练使用 pymysql、SQLAlchemy、pymongo；能设计表结构、唯一索引、去重逻辑、增量更新；掌握 executemany 批量插入、INSERT ... ON DUPLICATE KEY UPDATE、MongoDB upsert 等入库方式。
JS逆向：熟悉 Chrome DevTools、Charles/Fiddler/mitmproxy 抓包分析；了解 Webpack 混淆、JS 扣代码、Node.js 补环境；能分析常见 sign、token、cookie 参数生成逻辑；了解 AES、RSA、MD5、HMAC、SHA 等常见加密方式；能使用 Python 复现简单加密参数。
数据库入库：熟悉 MySQL、MongoDB、SQLite、Redis；熟练使用 pymysql、SQLAlchemy、pymongo；能设计表结构、唯一索引、去重逻辑、增量更新；掌握 executemany 批量插入、INSERT ... ON DUPLICATE KEY UPDATE、MongoDB upsert 等入库方式。
项目经验
项目描述：
需要采集某公开网站列表页和详情页数据，包含标题、价格、时间、联系方式等字段，数据量约 X 万条，要求去重、增量更新并保存到数据库。
主要工作：
使用 Chrome DevTools 抓包定位数据接口，分析请求头、Cookie、token、sign 等参数。
针对网站 JS 混淆，扣出加密函数，使用 Node.js 补 window、navigator、document 等环境，Python 调用复现请求签名。
使用 requests + 多线程/Scrapy 采集，配合代理 IP、UA 池、限速重试，降低封禁率。
使用 pandas 做数据清洗，处理空值、重复值和格式统一。
使用 pymysql/SQLAlchemy 将数据写入 MySQL，设计唯一索引去重，采用 executemany 批量插入，通过 ON DUPLICATE KEY UPDATE 实现增量更新。
使用 Redis 做 URL 去重和断点续爬，crontab/Docker 定时运行。
项目结果：
日采集约 5 万条，入库成功率约 99%，支持按天增量更新，交付源码和部署说明。
需要采集某公开网站列表页和详情页数据，包含标题、价格、时间、联系方式等字段，数据量约 X 万条，要求去重、增量更新并保存到数据库。
主要工作：
使用 Chrome DevTools 抓包定位数据接口，分析请求头、Cookie、token、sign 等参数。
针对网站 JS 混淆，扣出加密函数，使用 Node.js 补 window、navigator、document 等环境，Python 调用复现请求签名。
使用 requests + 多线程/Scrapy 采集，配合代理 IP、UA 池、限速重试，降低封禁率。
使用 pandas 做数据清洗，处理空值、重复值和格式统一。
使用 pymysql/SQLAlchemy 将数据写入 MySQL，设计唯一索引去重，采用 executemany 批量插入，通过 ON DUPLICATE KEY UPDATE 实现增量更新。
使用 Redis 做 URL 去重和断点续爬，crontab/Docker 定时运行。
项目结果：
日采集约 5 万条，入库成功率约 99%，支持按天增量更新，交付源码和部署说明。
张临玉
爬虫工程师 · 1年经验 · 无
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
Python爬虫：熟练使用 requests、httpx、aiohttp、Scrapy 进行数据采集；熟悉 XPath、BeautifulSoup、lxml、正则解析；掌握多线程、协程、代理IP池、Cookie池、UA池、限速重试等常见采集方案；了解 Selenium、Playwright 处理动态渲染页面。
JS逆向：熟悉 Chrome DevTools、Charles/Fiddler/mitmproxy 抓包分析；了解 Webpack 混淆、JS 扣代码、Node.js 补环境；能分析常见 sign、token、cookie 参数生成逻辑；了解 AES、RSA、MD5、HMAC、SHA 等常见加密方式；能使用 Python 复现简单加密参数。
数据库入库：熟悉 MySQL、MongoDB、SQLite、Redis；熟练使用 pymysql、SQLAlchemy、pymongo；能设计表结构、唯一索引、去重逻辑、增量更新；掌握 executemany 批量插入、INSERT ... ON DUPLICATE KEY UPDATE、MongoDB upsert 等入库方式。
JS逆向：熟悉 Chrome DevTools、Charles/Fiddler/mitmproxy 抓包分析；了解 Webpack 混淆、JS 扣代码、Node.js 补环境；能分析常见 sign、token、cookie 参数生成逻辑；了解 AES、RSA、MD5、HMAC、SHA 等常见加密方式；能使用 Python 复现简单加密参数。
数据库入库：熟悉 MySQL、MongoDB、SQLite、Redis；熟练使用 pymysql、SQLAlchemy、pymongo；能设计表结构、唯一索引、去重逻辑、增量更新；掌握 executemany 批量插入、INSERT ... ON DUPLICATE KEY UPDATE、MongoDB upsert 等入库方式。
项目经验
项目描述：
需要采集某公开网站列表页和详情页数据，包含标题、价格、时间、联系方式等字段，数据量约 X 万条，要求去重、增量更新并保存到数据库。
主要工作：
使用 Chrome DevTools 抓包定位数据接口，分析请求头、Cookie、token、sign 等参数。
针对网站 JS 混淆，扣出加密函数，使用 Node.js 补 window、navigator、document 等环境，Python 调用复现请求签名。
使用 requests + 多线程/Scrapy 采集，配合代理 IP、UA 池、限速重试，降低封禁率。
使用 pandas 做数据清洗，处理空值、重复值和格式统一。
使用 pymysql/SQLAlchemy 将数据写入 MySQL，设计唯一索引去重，采用 executemany 批量插入，通过 ON DUPLICATE KEY UPDATE 实现增量更新。
使用 Redis 做 URL 去重和断点续爬，crontab/Docker 定时运行。
项目结果：
日采集约 5 万条，入库成功率约 99%，支持按天增量更新，交付源码和部署说明。
需要采集某公开网站列表页和详情页数据，包含标题、价格、时间、联系方式等字段，数据量约 X 万条，要求去重、增量更新并保存到数据库。
主要工作：
使用 Chrome DevTools 抓包定位数据接口，分析请求头、Cookie、token、sign 等参数。
针对网站 JS 混淆，扣出加密函数，使用 Node.js 补 window、navigator、document 等环境，Python 调用复现请求签名。
使用 requests + 多线程/Scrapy 采集，配合代理 IP、UA 池、限速重试，降低封禁率。
使用 pandas 做数据清洗，处理空值、重复值和格式统一。
使用 pymysql/SQLAlchemy 将数据写入 MySQL，设计唯一索引去重，采用 executemany 批量插入，通过 ON DUPLICATE KEY UPDATE 实现增量更新。
使用 Redis 做 URL 去重和断点续爬，crontab/Docker 定时运行。
项目结果：
日采集约 5 万条，入库成功率约 99%，支持按天增量更新，交付源码和部署说明。
立即沟通
