Brian Wang的案例列表
Spark迁移项目
第一个迁移项目： 在该 1TB 级 Oracle 至 Azure SQL DB 数据迁移项目中，我负责整体技术方案设计与核心代码开发，主导完成 Spark 集群资源规划、数据读写策略优化及目标端性能保障三大核心模块。 首先，针对 1TB 数据迁移需求，我通过资源测算确定 125 个 Executor（8core/16G）的 “高效匹配型配置”—— 总 2TB 内存可缓冲数据膨胀需求，1000 个 CPU 核心能并行处理 1024 个 1GB 分区任务，资源利用率接近 100%。同时，为避免集群性能浪费，我设计了 “分区动态适配” 策略，通过numPartitions与partition
Hive查询慢
如下就是一个导致Hive查询慢的线程。 at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836) at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(Abst
案例判断参考
Brian Wang的案例列表
Spark迁移项目
第一个迁移项目： 在该 1TB 级 Oracle 至 Azure SQL DB 数据迁移项目中，我负责整体技术方案设计与核心代码开发，主导完成 Spark 集群资源规划、数据读写策略优化及目标端性能保障三大核心模块。 首先，针对 1TB 数据迁移需求，我通过资源测算确定 125 个 Executor（8core/16G）的 “高效匹配型配置”—— 总 2TB 内存可缓冲数据膨胀需求，1000 个 CPU 核心能并行处理 1024 个 1GB 分区任务，资源利用率接近 100%。同时，为避免集群性能浪费，我设计了 “分区动态适配” 策略，通过numPartitions与partition...
Hive查询慢
如下就是一个导致Hive查询慢的线程。 at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836) at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(Abst...
