強震即時警報の転送配信を Lua から Go へ移行
DPIP と TREM-Lite に表示される中央気象署(CWA)の強震即時警報(CWA EEW)は、私たちのサーバーがアプリに転送しています。この転送に使う配信(以下、速報配信)は 11 月 16 日まで、ロードバランサー上の OpenResty で動く Lua でした。一方、リアルタイム震度(RTS)の配信は、Go で書いた SSE サーバー sse-server-go で動いています。TREM-Lite は、RTS より速報配信のほうが切れやすい状態でした。11 月 16 日の 04:00 から 09:20(台湾時間、以下同じ)まで、TREM-Lite の接続は速報配信では平均 23 分しか続かず、RTS では 36 分でした。
11 月 17 日未明の 02:30 から 03:01 にかけて、速報配信を sse-server-go に移し、2 台のロードバランサーからこの配信用の Lua をすべて取り除きました。
以前の速報配信
Section titled “以前の速報配信”lb-tpe1 と lb-khh1 の 2 台のロードバランサー(LB)では OpenResty が動いていて、速報配信はすべてその中にありました。1 つの worker がメッセージクラスターで上流の警報を購読し、メッセージが届くと、worker 間でイベントを配る lua-resty-events がほかの worker を起こします。各接続はそれぞれのセマフォで待ち、新しい内容があれば送り、なければ 60 秒ごとにハートビートを送ります。同じデータからポーリング用の GET も返していて、ETag を付け、内容が変わっていなければ 304 Not Modified を返します。
この Lua は LB 1 台あたり 529 行ありました。配信の中枢が 185 行、メッセージクラスターのクライアントが 318 行、圧縮が 26 行で、ほかに 2 つの server 設定にも Lua のブロックがありました。lua-resty-events のコアモジュールを入れるために nginx をソースからビルドしていて、そのため OpenResty の Dockerfile は 112 行ありました。
ポーリング用 GET の流量は少なくありません。11 月 16 日の 04:00 から 09:20 まで、lb-tpe1 では平均で毎秒 79.7 件のリクエストがあり、そのうち 76.4% が 304 でした。
ほかの配信は、すでに Lua から離れていました。2025 年 9 月から、サービスを順に Go で書き直していて(JavaScript から Golang へを参照)、RTS、震度速報、地震情報の配信は sse-server-go で動いています。LB 上で Lua に残っていた配信は、速報配信だけでした。
Lua 版の問題
Section titled “Lua 版の問題”接続の切れやすさに差があったのは TREM-Lite だけです。DPIP の接続はどちらの配信でも平均 3 分未満で、速報配信が 173 秒、RTS が 169 秒と、差は見られませんでした。
原因はハートビートでした。Lua 版は接続ごとに 60 秒待ち、目覚めたあとで前回の送信から 60 秒たったかを確かめ、たっていればハートビートを送ります。一部の接続ではこの計算がわずかに 60 秒に届かず、その回は何も送られないまま、最初のハートビートが 120 秒目まで遅れていました。TREM-Lite は一定時間 1 バイトも届かないと切断とみなして再接続し、現在のバージョンではその時間が 90 秒です。DPIP は 132 秒で、影響を受けませんでした。11 月 16 日の 04:00 から 09:20 までに、TREM-Lite の速報配信の接続 255 本がちょうど 120 秒目に終わっており、これらの接続では最初のデータのあと、ハートビートが 1 回も送られていませんでした。
Lua 版には、意図と違う動きも 2 つありました。有効期限を過ぎた警報は、上流から次のメッセージが届いたときにしか消えないので、上流が静かなあいだは期限切れの警報がスナップショットに残ることがありました。また、同じミリ秒に 2 回の更新が届くと、Lua 版は 2 回目を捨てていました。
11 月 16 日の夜、切り替えの準備をしているときに、もう 1 つ問題が見つかりました。メッセージクラスターのクライアントは timer の中のループで再接続していて、worker が終了処理中かどうかを確認していませんでした。設定をリロードするたびに古い worker の接続は閉じられますが、ループがまたつなぎ直すので、古い worker はいつまでも終了しませんでした。lb-tpe1 にはこうした古い worker が 24 個たまっていて、最も長いものは 23 日間残っていました。合わせて約 1.8 GB のメモリを使い、どれも重複した購読を 1 つずつ持ったままでした。同じ書き方をしているもう 1 つの Lua モジュールにも、同じ問題がありました。その夜のうちにループを直し、これらの古い worker を片付けました。
RTS は sse-server-go で安定していたので、速報配信もそちらに移しました。
Go で 1 つのスナップショットにまとめる
Section titled “Go で 1 つのスナップショットにまとめる”新しい速報モジュールは sse-server-go の中にあります。3 つの上流ソースから警報を受け取り、1 つのスナップショットにまとめます。中身は、いま有効な警報の一覧です。
- 地震イベントごとに、serial(報数)が最も大きいものだけを残します。
- 地震発生時刻から 240 秒たった警報は、スナップショットから外します。期限切れは毎秒確認し、上流の次のメッセージを待ちません。
- 内容が変わっていなければ、送り直しません。
- スナップショットのバージョンは必ず増えていくので、同じミリ秒の 2 回の更新もどちらも送られます。
各スナップショットは 1 回だけ圧縮し、すべての接続で共有します。新しい接続には、つながった時点のスナップショットをすぐに送ります。処理が追いつかないクライアントには、古いものをためずに最新のスナップショットだけを残します。
旧版のアプリは、更新しなくてもそのまま使えます。旧来の速報配信とポーリング用 GET は残してあり、sse-server-go が同じスナップショットから旧来の形式で作ります。出力はバイト単位で同じです。どちらも非推奨にしましたが、終了日は決めていません。
このモジュールは Go で約 736 行、テストが 880 行で、テストは race detector を有効にして実行しています。
Lua を外したあとの OpenResty
Section titled “Lua を外したあとの OpenResty”速報配信を Go に移すと、速報配信の接続もすべて OpenResty を通って sse-server-go に渡ります。この区間は TCP でした。バックエンドに渡す SSE 接続 1 本ごとに OpenResty の送信元ポートを 1 つ使い、同じ宛先に対しては約 55,000 個が上限です。コネクショントラッキング(conntrack)のエントリも、SSE 接続 1 本につき 2 つ(クライアントから LB、LB からバックエンド)使います。lb-tpe1 の過去 7 日間で、SSE と WebSocket の同時接続数は最大 22,583 本でした。私たちは 10 万本を目標に容量を準備しています。
OpenResty から sse-server-go へは unix socket でつなぐようにし、TCP は予備として残しました。SSE 接続は送信元ポートを使わなくなり、conntrack のエントリも 1 本につき 1 つになりました。03:01 に切り替えたあと、lb-tpe1 で OpenResty からバックエンドへの TCP 接続は 496 本から 0 本になりました。
Lua がなくなったので、nginx を自分たちでビルドする理由もなくなりました。OpenResty は、公式イメージに sqlite だけを加えたものになっています。
| 項目 | 移行前 | 移行後 |
|---|---|---|
| OpenResty の Dockerfile | 112 行 | 12 行 |
| OpenResty のイメージ(lb-khh1) | 311 MB | 236 MB |
| OpenResty のイメージ(lb-tpe1) | 213 MB | 162 MB |
| SSE 接続 1 本あたりの conntrack エントリ | 2 | 1 |
切り替えの経緯
Section titled “切り替えの経緯”LB は 1 台ずつ、lb-khh1 から切り替えました。
| 時刻 | 出来事 |
|---|---|
| 02:30 | lb-khh1 を新しいバックエンドに切り替え、この LB で /api/v1/trem/sse/report を廃止 |
| 02:30 ごろ | サービス状況ページによる地震情報配信のプローブが失敗し始める |
| 02:31 | lb-khh1 の OpenResty が設定をリロード |
| 02:31 | 速報配信の内部監視が失敗し始める |
| 02:35 | lb-tpe1 を新しいバックエンドに切り替えて設定をリロードし、この LB で /api/v1/trem/sse/report を廃止 |
| 02:43 | 上流との実際の接続状態を返す修正を反映 |
| 02:43 | 内部監視が回復 |
| 02:45 | 地震情報配信のプローブを /api/v1/cwa/sse/report に向け直し、回復 |
| 02:49 | サービス状況ページ自身の設定を新しい URL に更新 |
| 02:58 | lb-khh1 の OpenResty を再起動し、unix socket と新しいイメージに切り替え |
| 03:01 | lb-tpe1 の OpenResty を再起動し、unix socket と新しいイメージに切り替え |
設定のリロードでは 5xx は 1 件も出ず、古い worker はすべて 30 秒の制限内に終了しました。OpenResty 自体の再起動は事情が違い、2 回とも起動までの約 10 秒間、502 または 503 を返しました。また、バックエンドを再起動するたびに、すべての接続が 1 回切られ、再接続は各クライアントに任されます。
新しいプログラムは警報を購読するだけで、警報を発行する権限はありません。再起動の前には毎回、有効な警報がないことをログで確認しました。確認はログとメトリクスだけで行い、テスト用の警報は送らず、本番の速報配信へのテスト接続もしていません。
切り替えで壊した監視
Section titled “切り替えで壊した監視”切り替えの途中で、私たちは自分たちの監視を 2 つ壊しました。
1 つ目は、サービス状況ページによる地震情報配信のプローブです。/api/v1/trem/sse/report は、各 LB を新しいバックエンドに切り替えるのにあわせて 02:30 から 02:35 のあいだに廃止しましたが、プローブはまだこのパスにリクエストしていました。プローブは 02:30 ごろから失敗し、02:45 に /api/v1/cwa/sse/report へ向け直してようやく回復しました。そのあいだに、サービス状況ページは障害と復旧の通知を送りました。サービス状況ページ自身の設定を更新したのは 02:49 だったため、通知には古い URL が表示されていました。この通知を受け取った方にお詫びします。
2 つ目は、速報配信の内部監視です。旧来の速報配信は、サーバーと上流の接続が正常かどうかをレスポンスで示していて、内部監視はその値を見ています。新しいサーバーは、最初の警報を受け取るまでこの値を「未開始」と返していました。その夜は警報がなかったので、ずっと「未開始」のままでした。内部監視は 02:31 から失敗し、02:43 に上流との実際の接続状態を返す修正を入れて回復しました。
原因は 2 つとも同じです。プローブも監視もクライアントなのに、サーバーを入れ替えたあとで直すものとして後回しにしていました。それらが頼っているパスと状態は、サーバーを入れ替える手順の中で一緒に変えるべきでした。その結果、地震情報配信のプローブは約 15 分、内部監視は 12 分のあいだ、誤った状態を示しました。
その後、サービス状況ページに強震即時警報の配信の行(TPE-1、KHH-1、Auto)を追加しました。プローブ先の URL は表示していません。
以下は lb-tpe1 の 2 日分の朝のデータの比較で、どちらも 04:00 から 09:20 までです。11 月 16 日が Lua の時期、11 月 17 日が Go の時期で、どちらも平日です。接続時間はアクセスログから求め、アプリは User-Agent で区別しています。
| 項目 | Lua(11 月 16 日) | Go(11 月 17 日) |
|---|---|---|
| TREM-Lite の速報配信の平均接続時間 | 23 分 | 32 分 |
| TREM-Lite の RTS の平均接続時間(比較用) | 36 分 | 32 分 |
| DPIP の速報配信の平均接続時間 | 173 秒 | 177 秒 |
| DPIP の RTS の平均接続時間(比較用) | 169 秒 | 176 秒 |
| TREM-Lite の速報配信でちょうど 120 秒目に終わった接続 | 255 本 | 0 本 |
| ポーリング用 GET の 1 秒あたりのリクエスト数 | 79.7 | 83.7 |
| ポーリング用 GET で 304 を返した割合 | 76.4% | 77.2% |
| ポーリング用 GET の応答時間 | 1 ms 未満 | 中央値 1 ms、p99 3 ms |
| 速報配信とポーリング用 GET の 5xx | 0 | 0 |
TREM-Lite の速報配信の接続は、平均 23 分から 32 分に延びました。同じ時間帯で RTS は 36 分から 32 分になり、2 つの配信の差はなくなりました。DPIP は、どちらの時期もほとんど変わりませんでした。
ちょうど 120 秒目に終わる接続はなくなりました。Go 版ではハートビートを 1 つのタイマーがまとめて送るので、送り漏れがありません。
ポーリング用 GET は、OpenResty がリクエストを sse-server-go に渡すようになったぶん、経路が 1 段長くなりました。Lua 版は OpenResty の中で直接応答し、ログ上の時間はすべて 1 ms 未満でした。いまは中央値 1 ms、p99 3 ms です。
LB ホスト全体の数字も下がりましたが、すべてを移行の効果とは言えません。前に触れた古い worker を片付けたのは 11 月 16 日の夜で、ちょうど 2 つの時間帯のあいだにあたります。下の表は 2 つの変化を合わせた結果で、それぞれがどれだけ寄与したかは分けられません。2 つの時間帯の負荷はほぼ同じで、SSE の同時接続数は平均 6,627 本と 6,584 本、総リクエスト数は 357 万件と 374 万件でした。
| lb-tpe1 ホスト | Lua(11 月 16 日) | Go(11 月 17 日) |
|---|---|---|
| CPU 使用率(平均) | 21.6% | 16.5% |
| conntrack エントリ数(平均/ピーク) | 13,328/37,670 | 11,152/24,430 |
| メモリ使用量(平均) | 5.4 GB | 3.9 GB |
これは LB 1 台の、1 日の朝だけのデータです。TREM-Lite のサンプルは小さく、各配信の各時間帯で接続は約 1,000 本から 2,800 本しかありません。
ハートビートを 30 秒ごとに
Section titled “ハートビートを 30 秒ごとに”Go の時期にも、もう 1 種類の切断がありました。11 月 17 日の 04:00 から 09:20 までに、TREM-Lite の接続 144 本が約 116.5 秒で切れていました。速報配信が 97 本、sleep モードの RTS が 47 本です。すべて 6 つの IP からの接続で、切断はどれもサーバーがハートビートを送った秒に起きていました。毎秒データが流れる live モードの RTS は、1 本も切れていません。Lua の時期の RTS にも同じ切断がありました。
これらのクライアントのネットワークは、アイドルが約 60 秒続いた接続を切るようで、60 秒ごとのハートビートと競争になっていました。ハートビートの瞬間に接続が切られ、クライアントは約 3.5 秒後に再接続します。次のハートビートは 56.5 秒後に届くので間に合いますが、その次は丸 60 秒空くので間に合いません。
11 月 17 日 10:13 に、ハートビートを 30 秒ごとに変えました。1 本の接続につき 1 分あたり 1 回、約 20 バイト増えます。lb-tpe1 の約 7,000 本の接続で合わせて毎秒約 2 KB の増加で、SSE 全体の流量の 1% 未満です。クライアント側の目安は変わらず、90 秒何も届かなければ再接続します。ハートビートを参照してください。
変更後の 12:45 までに、約 116.5 秒で切れた TREM-Lite の接続は 1 本もありませんでした。前日の同じ時間帯は 28 本です。この時間帯には多くの TREM-Lite ユーザーが新版に移ったので、接続数は前日とそのままは比べられません。そこで、11 月 17 日 04:00 から 10:13 までに 3 回以上切られた 7 つの IP も追いました。そのうち 3 つは変更後に 10 本の接続を残し、1 本も切れていません。まだ旧版を使っていた 1 つは、1 本の接続が 61 分続きました。この IP は変更前、88 本の接続のうち 19 本が切られていました。残りの 4 つの IP は、この時間帯に終了した接続の記録を残していません。
設定の変更には sse-server-go の再起動が必要で、今回は日中でした。10:13 の 1 分間に lb-tpe1 は 502 を 4,222 回返し、SSE の接続数は約 9,200 本から約 6,200 本に減って、12:30 になっても約 8,500 本まで戻っただけでした。切られた DPIP の接続のうち、停止していた数秒のあいだに再試行したのは約 1 割で、それらは 1 分以内に戻りました。残りは、その後の数分から数時間のうちに少しずつ戻ってきました。
クライアント
Section titled “クライアント”アプリ側も変えています。11 月 17 日 09:33 に公開した TREM-Lite のプレビュー版 26w47a では、これまでの 2 本の接続を 1 本にまとめました。地震情報は、起動時に一覧を 1 回取得し、その後は地震情報配信で更新するようにしました。DPIP の同じ変更はまだテスト中です。「移行後」の 04:00 から 09:20 までのデータはすべてこの版の公開前のもので、測ったのは旧版のアプリです。
/api/v1/trem/sse/report は 11 月 17 日に廃止しました。まだこのパスに接続しているプログラムは、/api/v1/cwa/sse/report に接続し直すか、/api/v1/sse で 1 本の接続から複数の topic を受け取るようにしてください。3 つの多重化の入口の違いは SSE 接続を参照してください。
