此颜厚矣

项目一：全日空航空(NH)机票信息抓取
项目描述：
1．Fiddler抓包ANA app；
2．分析request，确定所需headers及加密参数；
3．反编译app，破解关键加密参数；
4. 配置随机UA、IP代理池等；
5．requests模拟请求；
6．解析、检查及响应数据；
7．将爬虫配置为grpc service，系统调用时自动触发并响应爬取结果。
工作职责：1. 爬虫需求的承接与可行性分析。2. 爬虫开发及部署。3. 自动化工具开发及部署。4. 公司爬虫及自动化工具的维护。5. 协同业务部门提升爬虫收益。

项目二：抖音视频及用户信息抓取
项目描述：
1．通过fiddler抓包抖音app（需解决SSL Pinning）；
2．分析request，确定url、headers及所需参数；
3．构造url及headers参数，通过requests发送请求获取推荐视频response；
4．使用正则提取视频id、uid、mid、临时下载url（有过期时间）、share_url；
5．进行广告检测，剔除广告item；
6．构造并发起video share请求（需使用移动设备），使用xpath解析可获取视频title、点赞数、评论数、加密参数dytk值；
7．利用视频id、dytk构造iteminfo api url，发起请求解析response获取视频所有详细信息，包括视频描述、时长、点赞数（精确）、评论数（精确）、无水印url（不会过期）；
8．根据视频url发起请求下载视频保存到指定目录；
9．根据uid构造user share url，发起请求xpath解析response提取用户昵称、抖音ID、头像、签名、关注数、粉丝数、获赞数、作品数、喜欢数等详细信息；
10．进行数据异常检测、去重，存储到MySQL数据库。
工作职责：1. 爬虫需求的承接与可行性分析。2. 爬虫开发及部署。3. 自动化工具开发及部署。4. 公司爬虫及自动化工具的维护。5. 协同业务部门提升爬虫收益。

项目三：BesaWeb网站
项目描述：
华为基带开发与BBU芯片验证部为提升软件工程能力建设而开发的部门综合web平台。该网站主要包含首页、效率统计、合作方管理、工具中心、任务跟踪、反馈中心、在线咨询、邮件管理、登录验证等模块。效率统计模块主要包含各部门内各制式按月统计的人力投入、代码生产量、开发效率等数据，以及各制式下每个人的月份代码生产量及代码上库明细等，数据展示方式有表格、图标（柱状图、折线图、数据视图）等，所有数据均支持自定义制式和时间查询，且查询结果的数据和图表均支持下载到本地。合作方管理模块主要用于管理合作方项目计划、验收复核、周报和进度等，涉及合作方员工、PM、小组长等。工具中心分为离线工具和在线工具，离线工具支持本地上传和下载，在线工具支持界面交互并获取预期结果。反馈中心主要用于搜集用户在平台和工具的使用过程中遇到的疑难问题和功能需求等反馈信息，包含新增、查询、列表展示、搜索、排序等功能，支持文字图片混排、附件上传、富文本等。如果遇到紧急问题还可以通过Espace在线咨询功能立即联系相关接口人进行线上沟通。邮件管理模块主要用于用户订阅或取消订阅网站相关动态信息，以及主动对用户进行相关信息的推送。
工作职责：1. 需求承接及可行性分析；2. 架构设计；3. 前后端设计和编码实施；4. 进行功能点测试；5. 服务器的搭建及部署上线；6. 后期团队任务分工、任务跟进及技术指导。