猿急送>

上海运维兼职程序员

ID：406015

Brian Wang

大数据工程师

公司信息：
微软

工作经验：
15年

兼职日薪：
2000元/8小时

兼职时间：
可工作日远程
可工作日驻场（离职原因）
可工作日驻场（自由职业原因）

所在区域：
上海
闵行

技术能力

我深耕软件工程、云平台、系统架构、IT基础设施、网络安全、网络管理和数据分析等关键技术领域，兼具应用与基础设施环境的设计、部署和咨询经验。在软件与互联网行业担任从一线工程师到升级支持工程师、解决方案架构师的十余年间，积累了丰富的IT开发与咨询经验，主导过传统系统现代化改造、云迁移计划和转型项目，并基于Azure/O365 PaaS/SaaS比如 Exchange online, Fabric等平台从开发和运维双视角深度参与。
核心能力
• 大数据平台运营治理（Spark/Hive/Hbase/Kafka/Kubernetes/Hadoop/SQL/NoSQL/SSIS及Azure云服务，包括Azure Data Factory、Fabric Data Factory、Azure Synapse Analytics、Azure Cosmos DB、Azure Databricks、Azure Blob Storage、Azure Stream Analytics、Azure Machine Learning等），基于Power BI构建企业级数据分析解决方案，实现跨源数据整合与实时业务洞察
• 熟悉C#/Java/Python
• 精通DNS/DHCP/NAT等网络知识，具备强网络排障能力
• 精通Exchange 服务器升级，迁移等等
• 熟练的英语专业沟通能力（听说读写）

项目经验

帮助客户通过 Azure Data Factory或者Pyspark 完成数据迁移到云
Exchange 服务器升级项目

案例展示

Spark迁移项目

第一个迁移项目：在该 1TB 级 Oracle 至 Azure SQL DB 数据迁移项目中，我负责整体技术方案设计与核心代码开发，主导完成 Spark 集群资源规划、数据读写策略优化及目标端性能保障三大核心模块。首先，针对 1TB 数据迁移需求，我通过资源测算确定
Hive查询慢

如下就是一个导致Hive查询慢的线程。 at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at java.util.concurrent.locks.AbstractQueuedSyn