技术:就基本的爬虫操作,比如使用requests模拟访问网站,xpath,bs4,正则表达式,进行数据提取和数据清洗 cookies登入,批量数据,图片下载,核心以外的一些细节上的处理不是很好。还有一些基本的保存方式,TXT,json,xlsx,mysql不是很熟练。
项目:现在暂时还没有,自己的话有爬过京东,淘宝,图片网站,股票网站等的数据,希望有机会可以继续增加下自己的实战经验。就基本的爬虫操作,比如使用requests模拟访问网站,xpath,bs4,正则表达式,进行数据提取和数据清洗 cookies登入,批量数据,图片下载,核心以外的一些细
案例: 淘宝
技术:系统管理:精通Linux/Windows系统配置、优化与故障排除,熟悉主流虚拟化技术(如VMware、KVM)。 网络知识:掌握网络基础,了解TCP/IP、DNS、负载均衡等,能处理网络问题。 监控与自动化:熟练使用监控工具(如Prometheus、Zabbix),掌握自动化
项目:项目背景:负责某大型电商平台的运维工作,平台日均流量达数百万次,高峰期流量激增,系统稳定性面临挑战。 职责与成果: 系统优化:对电商平台的服务器架构进行优化,采用负载均衡技术(Nginx + Keepalived)实现流量的合理分配,将系统响应时间缩短30%。 自动化运维:
案例: 细化流量颗粒度