微风
爬虫工程师
深圳网安 · 2年经验
日薪：
￥500/8h
地点：
深圳 龙华
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
python编程，爬虫以及爬虫框架（scrapy， feapder），js逆向（加解密，cookie，验证码），html，JavaScript，数据分析，数据清洗，mysql、mongdo、redis等数据库存储
项目经验
1、爬取企查查数据
项目描述：
为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app
和小程序名称方便后续有效的查找
工作内容：
1.该项目主要是获取企查查企业信息以及app和小程序信息。
2.该项目使用了js逆向对网站JavaScript中逆向找出Sha512加密方法
3.结合requests+加密数据对数据进行爬取
4.采用哈希算法+Redis进行数据去重，且通过pymysql对数据进行入库
2、爬取七麦数据
项目描述： 为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库
工作内容：
1.该项目主要是获取七麦数据网站各地的App信息，下载链接。
2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法
3.结合requests+加密数据对数据进行爬取
4.使用numpy+panda+Redis+哈希算法进行数据去重和数据清洗
5.使用pymysql对数据存储到mysql数据库中以便查找、调用
3、爬取360手机助手网站
项目描述： 为了能够快速下载app，并进行检测
工作内容：
1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测
2.接入IP代理，以防止ip封禁等后果
3.该项目使用了requests+lxml+threading对网站进行爬取
4.采用多线程和queue队列提升爬取效率以及准确性
5.使用os方法对爬取的app保存到的本地文件中
项目描述：
为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app
和小程序名称方便后续有效的查找
工作内容：
1.该项目主要是获取企查查企业信息以及app和小程序信息。
2.该项目使用了js逆向对网站JavaScript中逆向找出Sha512加密方法
3.结合requests+加密数据对数据进行爬取
4.采用哈希算法+Redis进行数据去重，且通过pymysql对数据进行入库
2、爬取七麦数据
项目描述： 为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库
工作内容：
1.该项目主要是获取七麦数据网站各地的App信息，下载链接。
2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法
3.结合requests+加密数据对数据进行爬取
4.使用numpy+panda+Redis+哈希算法进行数据去重和数据清洗
5.使用pymysql对数据存储到mysql数据库中以便查找、调用
3、爬取360手机助手网站
项目描述： 为了能够快速下载app，并进行检测
工作内容：
1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测
2.接入IP代理，以防止ip封禁等后果
3.该项目使用了requests+lxml+threading对网站进行爬取
4.采用多线程和queue队列提升爬取效率以及准确性
5.使用os方法对爬取的app保存到的本地文件中
微风
爬虫工程师 · 2年经验 · 深圳网安
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
python编程，爬虫以及爬虫框架（scrapy， feapder），js逆向（加解密，cookie，验证码），html，JavaScript，数据分析，数据清洗，mysql、mongdo、redis等数据库存储
项目经验
1、爬取企查查数据
项目描述：
为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app
和小程序名称方便后续有效的查找
工作内容：
1.该项目主要是获取企查查企业信息以及app和小程序信息。
2.该项目使用了js逆向对网站JavaScript中逆向找出Sha512加密方法
3.结合requests+加密数据对数据进行爬取
4.采用哈希算法+Redis进行数据去重，且通过pymysql对数据进行入库
2、爬取七麦数据
项目描述： 为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库
工作内容：
1.该项目主要是获取七麦数据网站各地的App信息，下载链接。
2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法
3.结合requests+加密数据对数据进行爬取
4.使用numpy+panda+Redis+哈希算法进行数据去重和数据清洗
5.使用pymysql对数据存储到mysql数据库中以便查找、调用
3、爬取360手机助手网站
项目描述： 为了能够快速下载app，并进行检测
工作内容：
1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测
2.接入IP代理，以防止ip封禁等后果
3.该项目使用了requests+lxml+threading对网站进行爬取
4.采用多线程和queue队列提升爬取效率以及准确性
5.使用os方法对爬取的app保存到的本地文件中
项目描述：
为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app
和小程序名称方便后续有效的查找
工作内容：
1.该项目主要是获取企查查企业信息以及app和小程序信息。
2.该项目使用了js逆向对网站JavaScript中逆向找出Sha512加密方法
3.结合requests+加密数据对数据进行爬取
4.采用哈希算法+Redis进行数据去重，且通过pymysql对数据进行入库
2、爬取七麦数据
项目描述： 为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库
工作内容：
1.该项目主要是获取七麦数据网站各地的App信息，下载链接。
2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法
3.结合requests+加密数据对数据进行爬取
4.使用numpy+panda+Redis+哈希算法进行数据去重和数据清洗
5.使用pymysql对数据存储到mysql数据库中以便查找、调用
3、爬取360手机助手网站
项目描述： 为了能够快速下载app，并进行检测
工作内容：
1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测
2.接入IP代理，以防止ip封禁等后果
3.该项目使用了requests+lxml+threading对网站进行爬取
4.采用多线程和queue队列提升爬取效率以及准确性
5.使用os方法对爬取的app保存到的本地文件中
案例展示
企查查
项目描述： 为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app 和小程序名称方便后续有效的查找 工作内容： 1.该项目主要是获取企查查企业信息以及app和小程序信息。 2.该项目使用了js逆向对网站Ja
七麦数据
项目描述： 为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库 工作内容： 1.该项目主要是获取七麦数据网站各地的App信息，下载链接。 2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法 3.结合requests+
360手机助手网站
项目描述： 为了能够快速下载app，并进行检测 工作内容： 1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测 2.接入IP代理，以防止ip封禁等后果 3.该项目使用了requests+lxml+threading对网站进行爬取
立即沟通
