ログローテートが機能していなかった件ですが、担当者に連絡したら「対応よろしく」だったので、トライしてみました。
はじめは設定が環境にあってなかったり、パーミッションを変えたのを忘れていたりしたのかなーと思っていたのですが、どうもそんな様子もなく何でだろうとジタバタしていました。そうこうしているうちにディレクトリの深い場所に怪しいフォルダが。df かけると ssh のパイプがブロークンしちゃうフォルダが。ls しても同様で、ssh かたっぱしから潰されていきます。フィジカルは遠隔拠点にあるので実機でチャレンジもできず、正直様子がよく分からない。一瞬「呪われた」系かと思いました。
ディレクトリの様子を直接探る事ができないので、周囲の inode の使用量から類推すると100万くらい使っているようで。1フォルダに100万ファイル、そりゃタイムアウトしますよ。
ということで、新しくディレクトリを掘ってそちらで処理をすることにし、既存のフォルダはリネームしてメンテタイムにのんびり殺そうという方針に。設定的にファイルがガンガン増えていく系だったので、それも修正しました。
頭の片隅に引っかかっていたものがすっきりしました。
