技术:熟练掌握python开发,能使用python完成爬虫及web后端开发相关工作; 熟悉linux开发环境及常用命令; 熟悉MVC开发模式,掌握使用Django框架进行项目开发,了解Flask、Tornado; 掌握request,Scrapy ,scrapy-redis分布式
项目:淘宝分布式数据采集系统 项目介绍: 本项目主要用于采集淘宝PC端及APP端搜索关键词获取各类排序商品列表及详细数据,是用于给另一个网站项目提供页面搜索功能的后台程序,类似于看店宝网站VIP会员的搜索功能。 技术选型: 1.考虑到后期可能存在的高并发情况,采用scrapy-
案例: 淘宝分布式数据采集系统优客居
技术:• 后端框架:Django、Flask • 数据库:MySQL、Redis、MongoDB • 前端:Vue.js、JavaScript • 操作系统:Linux • 工具:Docker、Git、Postman、MarkDown、Pycharm、VScode • 爬虫:
项目:项目经验: 数据可视化平台 • 使用Django+Pandas模块操作数据 ,优化代码 ,提高性能 • 使用NumPy进行数据分析和科学计算。 • 熟练使用Matplotlib,用于创建各种静态图表和数据可视 • 使用JWT中间件实现接口鉴权 • 使用Celery+R
案例: 数据可视化平台