具备良好的数学思维,对数学分析、高等代数、概率统计、运筹学、图论等学科内容有比较深刻的了解,热衷于探索、推导、复现数据科学、运筹优化、计算机原理等理论作为项目迭代优化的支撑
熟练使用torch、sklearn、LLM、optaplanner、cplex、Gurobi等算法框架进行二次开发、调优和部署落地
熟悉经典指派、调度、风控场景的技术架构设计,并有多个千万级别算法项目从0到1的落地经验
熟练应用包括不限于hive、spark、flink、olap、hudi/iceberg、kafka等数据技术栈进行数据应用开发和落地
熟练使用包括不限于spring、orm、redis、mq、drools等后端技术栈开发业务需求,阅读过一定源码
熟练使用java、python、scala、sql、shell等程序设计语言进行实际项目开发落地部署,有一定调优运维经验
rpa自动发布文章到头条
• flink-fluss实时和多个信息源进行订阅、加工
• 大模型总结,不推理避免幻觉,结果按照时间线输出
• 推送微信公众号、知乎、头条
• nlp技术,抽象文章标题的时间、主语、谓语、宾语,识别实体、动作、场景,作为检索指纹id
• 时序数据库,按照时间片保存主语、谓语、宾语的检索指纹id
• 文档kv存储数据库(hbase),用于高效根据指纹id检索文档原始内容
• 防止重复相似内容推送而使用的缓存,如果按照时间线,即使重复,重复部分的输出权重变
低,每篇文章行文着重讲变化的重点