数据清洗与整理:熟练使用Python(Pandas/Numpy)处理10万+量级数据,擅长去重(drop_duplicates)、异常值筛选(query)、多表合并(merge/concat),可自动化完成PDF/扫描件数据提取(Tabula+正则表达式)。
数据可视化:精通Matplotlib/Seaborn动态图表生成,能根据业务需求定制折线图、热力图(如气候数据趋势分析),熟悉调整图例/坐标轴/色彩方案提升可读性。
效率工具:
Excel高级应用(Power Query批量清洗、VLOOKUP跨表匹配、宏录制自动化操作)
数据库基础(SQLite增删改查,实现Excel与数据库交互)
质量控制:通过交叉验证(assert语句)、抽样复核确保数据准确率≥99%。
附加能力:
非结构化数据处理(OCR文本识别后结构化存储)
中英文数据兼容处理(编码转换/单位统一)
案例1:多源温度数据整合可视化(猪八戒平台)
需求:合并6份PDF扫描件(共7000+数据点)中的温度曲线,剔除无效数据并统一时间轴。
解决方案:
使用EasyOCR提取PDF文本,正则表达式匹配温度值(\d{1,2}℃),人工复核误差<3%。
通过Pandas对齐时间戳(resample方法补全缺失值),Matplotlib绘制6条对比曲线,用Viridis色系区分数据源。
成果:客户验收一次通过,获5星评价:“图表专业清晰,超出预期”。
案例2:电商订单数据清洗(校内实践)
问题:原始订单数据含15%重复项、地址格式混乱(如“北京/北京市”)。
处理:编写Python脚本自动标准化地址(省市区三级分离)、标记异常订单(金额>3倍标准差),工时从8小时压缩至1.5小时。