ID:314270

鸥莱雅LAN式

爬虫工程师

  • 公司信息:
  • 诚迈科技
  • 工作经验:
  • 8年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 南京
  • 全区

技术能力

爬虫 scrapy 框架;selenium 、requests 以及 BeautifulSoup 数据爬取&数据库存储; numpy、pandas 以及 matplotlib 数据分析&可视化;反反爬(特征识别、验证码识别、滑块验证、动态渲染、文本混淆等);安卓逆向分析(脱壳、反编译、静态分析、动态分析、Hook等); tkinter用户界面设计;文件打包exe;excel数据&文件批量处理

项目经验

通过 SQL 语句筛选指定模块的埋点数据,使用 python 基于 scrapy 框架设计爬虫程序在爬虫文件获取响应,在管道文件使用 xpath 表达式以及正则表达式获取用户行为,将信息进行拼接并写入csv文件和 mongodb 数据库,用 pandas和 matplotlib 进行数据分析以及可视化处理。
使用 charles进行APP端接口抓取,进行爬虫逆向分析,并使用各种工具(包括不限于查壳工具、jadx、IDA、frida)进行 APP 查壳、脱壳、反编译、静态分析、动态分析以及Hook等逆向分析操作,另外也进行web端j逆向分析,定位加密方式并还原,保证有效爬取页面信息。

案例展示

  • 音乐网站数据爬取分析

    音乐网站数据爬取分析

    功能实现:使用爬虫进行音乐网站数据爬取,将获取到的数据保存在csv文件,再运用数据分析读取文件中的数据,对数据进行进一步分析处理,并将数据可视化

  • 新闻APP热榜链接爬取

    新闻APP热榜链接爬取

    功能描述:通过对APP进行查壳、脱壳,进而通过反编译分析等一系列操作,还原APP链接的加密过程,从而自动获取APP动态链接,最后使用爬虫随时获取当前时间热榜新闻链接,可通过电脑打开链接浏览新闻,便于浏览当前以及之前错过的热榜新闻。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服