会熟练使用Python标准库于面向对象编程,能用列表/字典推导式、生成器、装饰器编写高可读性代码,熟悉虚拟环境、pip;在Web方面掌握flask蓝图,会使用Vue来创建前端窗口;在爬虫方面熟练使用Requests、BeautifulSoup、lxml与正则解析网页,掌握Selenium处理动态渲染,有学习Scrapy框架、中间件、管道与去重策略,具备数据清洗经验;熟练使用MySQL,掌握常用存储引擎,会使用Redis缓存、Mongodb存储。
使用过selenium绕过动态加载,分布式爬取10万条数据,使用Mongodb来进行存储;独立开发管理系统,Falsk搭建后端,Vue搭建前端,使用MySQL进行数据存储