项目描述： 主要实现了云盘中的云相册，对用户的相册进行管理。当用户首次登录时，会进行全量同步，即将云端所有的相册信息及图片下载到本地，同时会对本地数据库进行更新。当用户再次登录时，只进行增量同步，即只更新有变化的相册信息。云盘的界面采用开源第三方duilib实现。

为解决被诈骗学员无法下载自己购买的课程问题，研发kkb-down，服务端koa2+pm2部署 / 用户端谷歌插件 / shell自动化部署 / puppeteer+ffmpeg 核心模块自动抓取信息下载

爬取一位B站用户的全部动态，按时间顺序从旧到新排列，保存为json 用途：例如希望搜索某个条UP主曾经发过的动态。就可以用此方法存成json，然后在文件里进行字符串查找

可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。

利用request和selenium技术，利用别的网站的能力，爬取iqiyi网页的视频，并呈现出来，

海外软件商店，内置于海外oppo，realme和ONEPLUS系列手机中，为海外用户提供安全的APP下载服务，自2019年初独立运营，拥有东南亚地区数亿用户，日活数千万。

昨天闲着没事就弄了这么一个程序来爬一爬图片，效果还不错，就是访问的 url 被我写死了得到的数据不会太多，后续有时间再改改，还有搜索栏也要加上。

支持照片上传、展示 前后端结合项目，图片存储于阿里云OSS，后端采用阿里云函数计算服务 负责前后端所有代码工作

深圳大学开源镜像站 后端 2023.03-2023.05 ①Docker 容器的部署和管理：使用 Docker 来创建和管理容器，以提供可靠的运行环 境，搭建和维护镜像站所需的各个组件，包括数据库、Web 服务器等，并确保它们 的稳定性和安全性。 ②使用 rsync 同步上游源站仓库：使用 rsync 工具来同步上游源站的仓库到学校服务 器。通过定期的同步操作，及时获取到最新的开源软件、操作系统镜像等资源，确保 学校服务器上的镜像站与上游源站保持同步。 ③数据和日志的持久化存储：设计合理的数据和日志存储方案，确保同步的数据和运 行时产生的日志信息能够长期保存，便于后续的数据查询

快手直播流抓取: 通过与快手API进行交互，获取正在直播的直播间信息，并抓取直播流的URL。 FFmpeg下载和转码: 使用FFmpeg库，下载抓取到的直播流，并可选地进行转码和压缩。下载过程中显示下载进度和剩余时间。 视频上传到B站: 用户可以选择将下载完成的视频上传到B站。通过调用B站的API，完成视频的上传和发布。