云计算与运维平台: 熟悉 Linux 操作系统及常用命令,掌握 Shell 脚本编写;Linux 系统的安装、配置和维护。
python开发: 懂得Flask和Django框架,能够独立完成网站的制作。
爬虫技术:会使用Selenium模拟浏览器/小程序操作,并使用XPath和BeautifulSoup解析内容,也懂得IP代理与JS逆向。
数据库的配置与使用:熟练编写 SQL 脚本,能够配置主从复制和读写分离。
气象灾情监测采集能力提升项目-全国采集
系统搭建:使用 python 和 Selenium 编写抓取程序并将其部署到 linux 上实现稳定抓取各网站的链接和文章内容。
自动化流程:实现模拟浏览器从搜索内容、筛选内容、翻页到文章发布时间、媒体和内容的抓取。
通用网站配置:实现零代码抓取任意网站的搜索结果,用户只需在配置文件中配置相应 CSS 选择器即可。
测试与优化:使用多线程优化抓取速度,实现不同网站同时抓取,每分钟入库 100 条链接内容。
部署:将程序部署在 DMZ 区抓取数据入库,使用主从复制的技术将 DMZ 区的数据入库到内网。
该项目主要应用于企业级会议纪要的生成,目前该项目能够进行实时语音识别,也能够进行离线文件推流的方式识别,用户可以提前注册参会人员的声纹,会议结束后会将这些会议内容插入我们的提示词模板中喂给本地大模型生成纪要。 目前该项目同时嵌入了indextts模块,用于文本转语音。
本系统为我的本科毕业设计项目,毕设题目为“基于用户画像的电影推荐系统的设计与实现”。 本系统是以Django作为基础框架,采用MTV模式,数据库使用MongoDB、MySQL和Redis,以从豆瓣平台爬取的电影数据作为基础数据源,主要基于用户的基本信息和使用操作记录等行为信息来