项目一:医院信息数据采集与分析系统
在该项目中,我主导了医院及科室信息的自动化数据采集与分析工作,具体完成了以下任务:
数据收集:利用Python爬虫技术,成功从好大夫平台爬取了超过2万条医院基本信息及科室数据,显著提升了数据获取效率。
数据处理:通过结合Python脚本和Excel(如vlookup函数)对数据进行清洗与整合,从中筛选出800余条重复数据,确保数据质量与准确性。
数据分析:借助Excel透视表,根据不同产业线及科室信息,计算产品渗透率和科室渗透率,为市场份额评估提供数据支持,同时助力销售策略的优化调整。
此项目有效推动了数据自动化管理与分析能力的提升,为公司决策提供了精准的依据。
项目二:教育资源数据智能处理与格式统一
在该项目中,我参与了教育资源数据的自动化处理与格式标准化工作,完成了以下目标:
数据收集与爬虫开发:编写Python爬虫脚本,从缺书网成功采集了700余个ISBN信息,大幅提高了项目组的工作效率(约提升80%)。
数据清洗与提取:通过Python批量处理超过300个Word文件,从中准确提取课程名称、课程代码等关键信息,确保数据一致性与完整性。
文本处理与格式统一:利用DeepSeek大模型的API接口,设计Prompt从100余份格式混乱的课程大纲中提取关键数据,并统一转换为JSON格式,提高了数据处理的效率与可读性。
该项目显著提升了数据处理的自动化水平和准确性,为公司教育资源管理与分析提供了重要支持。