質問
HULFT Squareより、Integrateサービスが停止した旨のメールを受信しました。
ログインしてその時間帯のCPU使用率を確認したところ100%に到達した形跡があったことから、
高稼働に伴う強制再起動が起こったものと推察しています。
ただ、Integrateサービスが再起動された後は各種リソースの負荷が下がると認識していましたが、Integrateサービス再起動後もグラフを見る限りJVM Non-Heap Memoryは高負荷を維持しているように見受けられます。
考えられる原因を教えてください。
回答
Integrateサービスのスケーラビリティ設定が関わっている可能性があります。
例えばスケーラビリティを2に設定したとき、ひとつのIntegrateサービス内に2つのPodが稼働している状態となります(以下PodA、PodBとします)。
この状態でIntegrateサービスがリソースのひっ迫などで強制的に再起動した場合、基本的にはスクリプトなどを実行していたPodが再起動の対象となるため、再起動したPodとそうでないPodが混在する場合があります。
例えばPodAがスクリプトを実行している間にリソース負荷が高くなり強制再起動が発生した場合、再起動するのはPodAのみであり、PodBは再起動せずそのまま稼働し続けます。
下記マニュアルにも記載のとおり、サービスのスケーラビリティーを2以上にしていた場合、Integrateサービスのリソース表示は各Podの中で最も数値が高いものを代表して表示します。
そのため、強制再起動の発生しなかったPodBのリソース使用率が高い場合、Integrateサービスの強制再起動が発生しても、リソース使用率のグラフにはPodBの状態が表示され、再起動によるリソース開放が行われていないように見える場合があります。
補足
ユーザー操作によるサービスの再起動時にはサービス内全てのPodが再起動されるため、本件のような事象は発生しません。
そのため、下記マニュアルにも記載のあるとおり、 Non-Heap Memoryが不足した場合などには手動で再起動いただくことで対応いただけます。
◇HULFT Integrateサービスのステータスが黄色か赤の場合
コメント
0件のコメント
記事コメントは受け付けていません。