一、项目名称:用户行为数据分析
技术栈:Python, Pandas, Matplotlib, Jupyter Notebook
职责与成果:
使用 Pandas 对用户行为日志进行清洗、聚合与统计分析,提取关键指标如用户活跃度、留存率等。
利用 Matplotlib 绘制用户行为趋势图,辅助业务决策。
在 Jupyter Notebook 中完成整个分析流程,形成完整的分析报告。
二、项目名称:基于 PySpark 的日志分析系统
技术栈:Python, PySpark, Spark SQL, HDFS
职责与成果:
使用 PySpark 构建分布式日志处理流水线,实现对海量日志文件的快速解析与统计。
利用 Spark SQL 实现复杂查询,提升数据处理效率。
将结果写入 Hive 表,供后续 BI 工具使用。
三、机器学习项目
项目名称:电商用户购买预测模型
技术栈:Python, Scikit-learn, Pandas, Jupyter Notebook
职责与成果:
使用 Pandas 对用户历史交易数据进行特征工程,构建分类模型。
应用逻辑回归、随机森林等算法进行用户购买行为预测。
通过交叉验证优化模型参数,最终达到 85% 以上的准确率