Python+Java开发
熟练掌握信息管理系统开发与部署,基于各种数据库产品、中间件进行应用开发。能够进行NLP、AI等相关功能开发。
Web开发及App开发
熟悉vue、angular等前端技术点,能够独立开发web应用
熟悉React Native跨端应用开发框架,具备简单的多终端App开发能力
一:智能问答系统(利用大模型技术进行场景识别及业务干预)
二:百度搜索引擎爬虫(包括反反爬,利用虚拟化进行并发)
三:大数据用户画像系统(Spark、HDFS、ClickHouse等技术栈)
四:即时通讯平台(基于openfire搭建)
五:敏感数据筛查(训练Bert模型进行文本分类分级)
。。。。。。
主要负责项目的程序主编进行技术选型、架构设计、框架搭建、功能开发、持续部署。 主要功能是利用大模型技术,对用户提问场景进行意图分析、场景识别,满足业务方需要的功能点。 其中包括使用模型进行音频降噪、利用开源TTS模型生成自然语音回复等。
使用模拟技术、模仿用户访问网页,爬取数据。 利用模型进行人机对抗,解决爬虫过程中的验证码问题 使用虚拟化技术,将爬虫节点容器化,由爬虫节点通过队列获取任务,进行爬取数据落地到数据库存储。20台节点,大概每天能够爬取5万左右关键词。