1、喜欢研究新技术:项目中熟练Cursor,能提升开发速度和代码质量
2、深耕数据抓取领域,始终以业务价值为导向,平衡技术创新与落地实效,助力公司数据驱动业务发展。利用各平台数据实现比价功能
3、熟练使用Redis,Kafka,Spark,Zookeeper,Elasticsearch等
4、对淘宝客(淘宝联盟)、京东联盟、多多进宝等平台具有深入研究;会对大数据优化处理,满足实时秒级相应。
5、勤奋好学,谦和,自律,积极进取,责任心强。具有较强的专业理论知识、实际动手能力,且易接受新事物,适应能力强, 敢于挑战自我、勇于创新。为人诚恳,有良好的人际关系,对工作和学习认真负责,善于团队合作。
一、业务需求全链路管理与开发(对接需求、分配任务、管理进度、线上维护等)
1、负责数据抓取、数据处理、大数据等业务需求的对接、调研与评审,精准转化为技术实现方案
2、跟进需求落地全流程,协调跨资源解决卡点,确保交付结果匹配业务预期
二、技术架构与研发落地(springboot、爬虫框架设计、kafka、spark、art报表)
1、负责数据抓取、大数据处理相关程序的框架设计,兼顾系统稳定性、扩展性与性能优化
2、负责核心模块的程序编写、测试与上线,把控代码质量与技术实现标准
3、统筹系统后续运行维护,及时排查故障、优化迭代,保障数据链路持续稳定
三、团队管理与能力建设
1、负责爬虫研发组、数据平台研发组、淘宝项目组的人员管理,包括任务分配、进度跟进、绩效评估
2、指导团队成员技术提升,搭建知识共享机制,推动团队研发能力整体升级
四、深入研究业务,并通过技术方法达到创新,给公司带来利润
1、研究淘宝、京东、拼多多等联盟的政策
2、研究各联盟官方接口,并在公司推广使用
1.从各平台(值得买,慢慢买等),抓取优质值爆料列表数据 2.抓取值爆料数据的详情内容 3.抓取值爆料的评论数据 4.把抓取的数据,通过ai改写,在网站界面展示
1.从各联盟(淘宝客联盟、京东联盟、多多进宝、唯品会联盟等)获取订单,并与用户信息匹配,给用户展示订单信息 2.根据订单中的商品ID,获取商品详情数据,在订单详情中展示。