导入模块:导入了用于发送 HTTP 请求的requests库、操作 MySQL 数据库的pymysql库、解析配置文件的configparser库以及用于从 JSON 数据中提取特定字段的jsonpath库,方便后续的数据筛选操作。 发起请求与获取数据:使用requests库发送 GET 请求到指定的微博热搜接口,并将返回的响应内容(JSON 格式)通过response.json()方法解析为 Python 的字典或列表等数据结构,方便后续处理。 数据筛选部分:利用jsonpath库,按照指定的 JSONPath 表达式从解析后的 JSON 数据中提取出热搜标题、排名以及搜索量对应的列表数...
车联网风险监控平台,平台涉及到车联网相关的终端(obu、rsu)及云端业务主机等资产及相关联风险的展示及相关配置下发。 业务逻辑说明 车辆obu与RSU交互:当车辆靠近RSU时,车上的OBU与RSU通信; 车辆 obu与云端业务主机交互:与云端主机进行数据传输(上传或接收)。 平台结构 资产层:包括OBU、RSU和云主机。 风险层: 操作系统基线安全 防火墙信息 入侵检测系统信息 进程防火墙信息 性能监控数据(内存使用、CPU使用、网络流量、进程列表等) 两层结构,从资产可以查看相关联的风险信息,从风险可以反推资产信息。 页面设计 登录入口:用户认证界面...
导入模块:导入了用于发送 HTTP 请求的requests库、操作 MySQL 数据库的pymysql库、解析配置文件的configparser库以及用于解析 HTML 文档的lxml库中的etree模块。 循环发起请求并处理数据(核心逻辑部分): 首先通过循环构造不同页面的 URL(利用start参数实现分页,每页展示 25 条数据),然后使用requests库发送 GET 请求获取页面内容。 将获取到的 HTML 内容利用lxml的etree.HTML方法转化为树形结构,方便后续使用 XPath 语法进行数据提取。 先通过//div[@class="info"]...