Hive查询慢

金融 保险 案例ID:233385
Brian Wang
15 年经验· 微软
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

如下就是一个导致Hive查询慢的线程。

at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:997)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(AbstractQueuedSynchronizer.java:1304)
at java.util.concurrent.Semaphore.acquire(Semaphore.java:312)
at org.apache.hive.service.cli.session.HiveSessionImpl.acquire(HiveSessionImpl.java:315)
at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementInternal(HiveSessionImpl.java:471)

从 jstack 日志看,线程因等 Semaphore 锁(Semaphore.acquire)延时,根源是 HiveSessionImpl 的 operationLock 锁
查源码,operationLock 由参数 HIVE_SERVER2_PARALLEL_OPS_IN_SESSION 控制,设为 true 时 operationLock 为 null
该参数设 true 后,不执行 operationLock.acquire,避开锁等待,解决查询延时。

Hive查询慢

金融 · 保险 案例ID:233385
联系该工程师
微信扫码,建群沟通
作者: Brian Wang - 15年经验- 微软

案例介绍

如下就是一个导致Hive查询慢的线程。

at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:997)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(AbstractQueuedSynchronizer.java:1304)
at java.util.concurrent.Semaphore.acquire(Semaphore.java:312)
at org.apache.hive.service.cli.session.HiveSessionImpl.acquire(HiveSessionImpl.java:315)
at org.apache.hive.service.cli.session.HiveSessionImpl.executeStatementInternal(HiveSessionImpl.java:471)

从 jstack 日志看,线程因等 Semaphore 锁(Semaphore.acquire)延时,根源是 HiveSessionImpl 的 operationLock 锁
查源码,operationLock 由参数 HIVE_SERVER2_PARALLEL_OPS_IN_SESSION 控制,设为 true 时 operationLock 为 null
该参数设 true 后,不执行 operationLock.acquire,避开锁等待,解决查询延时。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×