猿急送>

北京其它兼职程序员

ID：380125

。

2313

公司信息：
123

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后

所在区域：
北京
海淀

技术能力

web爬虫，逆向，数据分析
编程语言： Python (熟练), Java (基础), JavaScript (基础)
爬虫框架： Scrapy, Selenium, BeautifulSoup, Requests, PySpider
数据库： MySQL, MongoDB, SQLite
数据处理： Pandas, NumPy, Matplotlib
其他技术： Redis, Docker, Git, Linux基础
使用Scrapy框架开发并维护多个大型爬虫，爬取并处理来自各大电商网站的数据，支持数据分析团队的业务需求。
利用Selenium和BeautifulSoup进行动态网页抓取，解决了多个JavaScript渲染页面的数据抓取问题。
设计并优化数据存储架构，将爬取的数据存储到MongoDB和MySQL数据库，并确保数据处理的效率和准确性。
处理反爬虫机制，实施IP代理池、验证码识别、请求头伪装等策略，有效避免了爬虫被封禁。
定期对爬虫脚本进行监控和维护，保证数据更新的时效性与准确性。
参与公司内部Web数据抓取项目，使用Python编写爬虫脚本，抓取了多个新闻网站的数据，供数据分析团队使用。
优化了爬虫的爬取速度和数据质量，减少了服务器的负担，提升了数据获取的效率。
使用Pandas对爬取的数据进行了清洗、格式化和分析，支持业务决策过程。

项目经验

抖音评论，视频，主页抓取，抖音a_bogus算法破解，京东滑块验证，京东h5st算法，js,python双版本，拼多多anticontent算法，拼多多滑块绕过，b站，tiktok,加密参数破解，百度贴吧数据抓取，小红书xs算法，xmns算法，还有微博，知乎等等，弄过几百个网站吧

案例展示

抖音，小红书，孔夫子旧书网数据抓取

在这个案例中，爬虫程序的目标是孔夫子旧书网（www.kongfz.com），这是一个专注于二手书交易的平台，用户可以在此买卖各类书籍。爬取孔夫子旧书网的数据可以帮助研究人员、书籍爱好者、以及开发者收集书籍信息、价格走势、书籍分类等数据，以便进行分析或其他应用。爬虫程序的工
小红书xmns算法

JS逆向中的“补环境”技术，通常是指在JavaScript代码反向分析过程中，通过动态获取、分析和模拟浏览器环境信息，从而绕过某些限制或保护机制，获取更多的目标信息。这类技术常用于逆向工程、抓包和破解过程中，尤其是与网页脚本的交互和数据提取相关的场景。 JS逆向中的“补环境