数据获取与匹配:使用 request、bs4、re 等爬虫工具和正则,获取投研所需的 5 万条数据,同时通过 openpyxl 将获取的数据进行逻辑匹配,并再次通过 selenium 检索+request 返回结果,根据数据特点设计了同类归并的算法,最终实现了数据标准化和入库。
数据整合与分析:把千万级数据从一维 txt 文件转换为包含时间、个体和个体特性的三维面板格式,通过时间序列模型建立预测等。
基于运营需要,使用 python 结合 WindPy、openpyxl、imbox、win32com 等模块实现了日度数据的自动化运营,跟踪监测 50 余个产品,系统进行了两次迭代升级。