ID:252577

猿少有为

大数据挖掘工程师

  • 公司信息:
  • 深圳Triwin科技有限公司
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 1000元/8小时
  • 兼职时间:
  • 下班后
  • 所在区域:
  • 深圳
  • 宝安

技术能力

1. 熟练使用 python 语言,对 Linux、Vue.js、HTML 及 CSS 开发有较好的掌握;
2. 熟练掌握 Numpy、Pandas、Scipy 数据挖掘工具; 熟练使用 Matplotlib、Seaborn、
Pyecharts 等可视化工具;
3. 掌握机器学习算法原理和用法: 如 Logistic 回归、线性回归、决策树、随机森林、GBDT
算法、XGBoost 算法、支持向量机 SVM、K-means、朴素贝叶斯等等;
4. 掌握数据清洗、特征工程、相关系数分析、常用评估指标;
5. 熟练使用 MySQL 数据库,以及对 Redis 的基本操作;
6. 掌握 selenium、xpath、re 正则、bs4 等爬虫技术,熟悉大部分反爬机制。掌握 Scrapy
框架的使用,运用 Scrapy_Redis 实现分布式爬虫;
7. 熟练掌握 Linux 系统常用命令,了解 shell 脚本和 git 的使用;
8. 了解神经网络、卷积神经网络的原理以及使用 TensorFlow2;
9. 掌握 Excel 的操作和常用函数的使用、以及 Power BI 的基本操作;
10.掌握 Hadoop 框架,以及运用 hive 实现大数据分布式存储和计算;

项目经验

项目名称: 肠胃系统疾病诊断预测
项目描述: 针对医院提供患者数据,分析患者通过快速尿素酶试验、尿素呼气试验、尿氨排出试验、
血清学试验以及多聚酶链反应等报告中,快速识别,是否患有幽门螺杆菌感染。为医生在
查看一个患者是否患有幽门杆菌感染提供辅助依据。
项目职责:
1. 数据加载,数据清洗。
2. 数据 EDA 探索,特征相关性探索。
3. 选择模型,训练模型和模型评估。
技术要点:
1. 根据某医院提供的 35w 条患者数据(性别,年龄,局部症状,体温,聚合酶 Hp,
C14,尿氨样本数据,血清数据)等 55 个特征进行数据清洗,空值选择性填补。
2. 构建标签,使用 map 映射将患有幽门螺杆菌感染的患者和没患有的打上标签,查看正负
样本情况,正负样本(7:28)。
3. EDA 探索,使用 seabron.pairplot 查看各特征相关性,发现聚合酶 Hp,C14 值等特征是
否患有幽门螺杆菌感染呈现正相关。
4. 正负样本不平衡,使用 SMOTE 过采样,平衡正负样本。
5. 构建模型,使用 Logistic Regression,XGboost , Random Forest,模型得分
Random Accuracy 0.91,XGboost Accuracy 0.93。
6. 利用模型优化:GridSearchCV 调参对 Logistic Regression 调整 C 惩罚项,solver,
Accuracy 0.93, Random Forest 调了树的总数和深度 Accuracy 0.935, XGboost 调
了树的个数深度,L2 正则化,Accuracy 0.95。
7. 通过绘制 AUC,F1,precision ,观察,可以考虑设置阈值(0.6),来调整预测是否患有幽门
螺杆菌感染的概率,依次来调整模型的召回率 Recall 0.9。

案例展示

  • 肠胃系统疾病诊断预测

    肠胃系统疾病诊断预测

    项目描述: 针对医院提供患者数据,分析患者通过快速尿素酶试验、尿素呼气试验、尿氨排出试验、 血清学试验以及多聚酶链反应等报告中,快速识别,是否患有幽门螺杆菌感染。为医生在 查看一个患者是否患有幽门杆菌感染提供辅助依据。 项目职责: 1. 数据加载,数据清洗。 2. 数据

  • 恒源祥家纺购买意向预测系统

    恒源祥家纺购买意向预测系统

    项目职责: 1. 数据探索 EDA,查看周,月的购买情况。 项目经历 2. 数据预处理,数据集完整性验证,特征过滤,正样本:有过非购买行为,且有购买行为 的用户记录(针对同一商品),负样本:有过浏览等行为,但最终没有购买行为的用户记录。 3. 阶段分析,针对用户购买意向与时

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服