技术:就基本的爬虫操作,比如使用requests模拟访问网站,xpath,bs4,正则表达式,进行数据提取和数据清洗 cookies登入,批量数据,图片下载,核心以外的一些细节上的处理不是很好。还有一些基本的保存方式,TXT,json,xlsx,mysql不是很熟练。
项目:现在暂时还没有,自己的话有爬过京东,淘宝,图片网站,股票网站等的数据,希望有机会可以继续增加下自己的实战经验。就基本的爬虫操作,比如使用requests模拟访问网站,xpath,bs4,正则表达式,进行数据提取和数据清洗 cookies登入,批量数据,图片下载,核心以外的一些细
案例: 淘宝
技术:具备KVM虚拟化、openstack等私有云部署能力和运维能力; 具备AWS、阿里云、华为云等公有云服务调优能力; 能熟练运用docker、k8s等容器化平台,可结合云管监控对所属业务应用进行高可用部署; 熟练使用zabbix、ansible、Prometheus等开源监控
项目:负责“**证券”极速交易系统服务器调优与组播高可用、低时延测试, 对该证券公司,在深圳与上海两地规划数据中心进行多节点部署,通过vxlan大二层方式打通网络,使对接深交所与上交所的交易节点进行实时同步与校准。 通过mellanox实现Roce的超低时延组播转发,在保证数据可靠
案例: 云平台搭建