本项目是使用flask,urllib,lxml,BeautifulSoup,pymsql等python库开发的爬虫web应用。
功能:
1、用户登录 2、展示爬取的歌曲信息并可以播放歌曲。3、统计歌曲播放量4、统计歌曲评论5、统计歌曲转发量6、统计歌曲收藏量
技术要点:
1、定制请求头,解决反爬。 2、通过浏览器开发者工具找到歌曲播放的真实url。3、使用lxml和BeautifulSoup解析返回数据,并通过正则表达式拿到需要的信息。4、把解析之后的数据存到数据库以便后续展示。5、使用Echarts做图表分析。
PyQT日志管理工具:
本项目是使用pyqt,re正则表达式,csv,openpyxl等python库开发的桌面端应用。
功能:
1、读取指定目录下的测试日志 2、从日志里面解析出测试的具体情况并展示。3、把测试情况输出到excel里面,4、分析统计测试的数据在excel里面生成折线图等相关图表。
2、技术要点:
1、使用re正则表达式解析日志。2、使用openpyxl保存测试相关数据。3、使用openpyxl对从测试日志里面的数据进行图表展示。