Spark迁移项目

生活消费-分类信息 Brian Wang

第一个迁移项目: 在该 1TB 级 Oracle 至 Azure SQL DB 数据迁移项目中,我负责整体技术方案设计与核心代码开发,主导完成 Spark 集群资源规划、数据读写策略优化及目标端性能保障三大核心模块。 首先,针对 1TB 数据迁移需求,我通过资源测算确定 125 个 Executor(8core/16G)的 “高效匹配型配置”—— 总 2TB 内存可缓冲数据膨胀需求,1000 个 CPU 核心能并行处理 1024 个 1GB 分区任务,资源利用率接近 100%。同时,为避免集群性能浪费,我设计了 “分区动态适配” 策略,通过numPartitions与partition...

Spark迁移项目
Spark迁移项目

Hive查询慢

金融-保险 Brian Wang

如下就是一个导致Hive查询慢的线程。 at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836) at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(Abst...

Hive查询慢
Hive查询慢
------ 加载完毕 ------
联系需求方端客服