Hive Metastoreが2台のシステムにインストールされると、hadoopクラスター(ambariプラットフォームベース)があります。
ジョブの実行中にヒープサイズが原因でジョブが失敗することがあります。 (メタストアヒープサイズ)
私たちの場合、これはメタストアヒープの問題によるものです。
Metastore ログには次の情報が表示されます。
2021-12-13 01:39:23,145 INFO [org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1595ec02]: common.JvmPauseMonitor (JvmPauseMonitor.java:run(193)) - Detected pause in JVM or host machine (eg GC): pause of approximately 3263ms
No GCs detected
だから私たちはメタストアのヒープサイズを2Gから4Gに増やしました。
しかし、問題はMetaStoreヒープの正しいサイズを知る方法とそれに基づいています。
たとえば、これをネームノードのHDFSヒープサイズと比較すると、
ネームノードヒープサイズは、ネームノードが管理するファイルの数に基づいている必要があると言えます。
しかし、Metastoreヒープサイズと同じ概念は何ですか?
Metastoreヒープサイズを計算する方法は?
引用する -https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hive_tuning.html
https://stackoverflow.com/questions/56363736/hive-too-many-connection-to-postgresql-db
https://docs.microsoft.com/en-us/azure/databricks/kb/metastore/hive-metastore-troubleshooting
https://www.linkedin.com/pulse/hive-metastore-hcatalog-hcat-haotian-zhang/