掌握的技术有
1、python自动化办公(例如:利用pandas处理表格,利用Selenium 做浏览器操作,py库进行点击自动化等)
2、python桌面小程序的编写
3、python信息爬取,并对信息进行可视化处理
(运用pandas对数据进行处理,缺失值、异常值、重复数据处理、特征向量化等 )
(根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段,通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取)
(对爬取到的数据,通过matplotlib生成直方图、条形图、散点图、饼图、词云等,多维度展示分析数据,并撰写数据分析报告,供需求方对数据有直观的了解)
4、会基础的python web开发,利用的remi框架与flask框架。
项目经验:
1、爬取网站的动态图片并进行本地保存,爬取过各类表情包
2、利用爬虫爬取58上特定地区招工信息,并保存到excel文件
3、爬取豆瓣,游侠,电影IBMD排行榜并生成web显示数据,利用matplotlib处理数据
简单图片的爬取。 1、包装好基本请求头 2、在当前目录下创建好文件夹等一会放入图片 3、利用requests库来进行页面下载 4、对网页进行分析,分析工具主要是lxml xpath定位
爬取游侠网在的部分新闻然后保存下来用html保存的 利用的是pandas dataframe to html的功能
输入26个字母比一比打字的速度 当你选择回车的时候开始计时 利用的python中的pysimplegui库进行的编写
耐心修改,程序达到采集结果