2026-10-10 · 10 min
Alert Fatigue: Tuning Alertmanager agar On-Call Tidak Kelelahan
Tanggal 10 Oktober adalah Hari Kesehatan Jiwa Sedunia, dan saya ingin membicarakan sesuatu yang jarang masuk daftar isu kesehatan mental di tim engineering: alert fatigue on call. HP bergetar jam 3 pagi, Anda bangun, membuka laptop, lalu mendapati alertnya “CPU node-3 di atas 85%” yang sudah pulih sendiri sebelum Anda sempat login. Kejadian seperti itu tiga kali seminggu sudah cukup untuk membuat orang membenci giliran on-call, dan pelan-pelan berhenti percaya pada alert.
Sebagai reviewer dev tool, saya terbiasa menilai sesuatu dari kriteria, bukan dari kesan. Jadi di artikel ini saya pakai satu kriteria utama untuk setiap alert: apakah alert ini layak membangunkan orang jam 3 pagi? Kalau jawabannya tidak, alert itu tidak boleh berbunyi di pager. Ia boleh ada di Slack, di dashboard, atau di tiket, tapi tidak boleh di HP orang yang sedang tidur.
Di bawah ini ada empat hal: tes kelayakan alert, konfigurasi Alertmanager yang saya pakai sebagai titik awal, cara mengubah alert berbasis penyebab menjadi alert berbasis SLO, dan pick tegas untuk routing on-call tim kecil.
Tes 3 Pagi: Empat Pertanyaan Sebelum Alert Boleh Jadi Page
Setiap alert yang ingin masuk ke pager harus lolos keempat pertanyaan ini. Satu saja jawabannya “tidak”, turunkan severity-nya.
- Apakah pengguna sedang terdampak, atau pasti terdampak dalam beberapa jam ke depan? “Checkout gagal untuk 5% request” lolos. “Memory pod naik” tidak lolos, kecuali terbukti berdampak.
- Apakah ada tindakan yang bisa dilakukan manusia sekarang? Alert yang jawabannya selalu “tunggu saja, nanti pulih sendiri” bukan page.
- Apakah tindakan itu tidak bisa menunggu sampai jam 9 pagi? Sertifikat TLS yang kedaluwarsa 20 hari lagi itu penting, tapi tempatnya di tiket.
- Apakah butuh manusia, bukan otomasi? Kalau responsnya selalu “restart pod”, yang perlu Anda perbaiki adalah liveness probe atau autoscaling, bukan jadwal tidur engineer.
Saran saya, lakukan audit dulu sebelum menyentuh konfigurasi. Ambil laporan insiden 30 hari terakhir dari tool on-call Anda (baik PagerDuty maupun Grafana IRM punya riwayat insiden), lalu buat tabel sederhana: nama alert, berapa kali berbunyi, berapa kali ada tindakan nyata, dan hasil tes empat pertanyaan di atas. Kalau datanya belum ada di tool on-call, Prometheus bisa memberi gambaran kasar alert mana yang paling lama berbunyi:
# Perkiraan: jumlah sampel evaluasi saat alert berstatus firing selama 30 hari.
# Ini mengukur "berapa lama berbunyi", bukan jumlah page, tapi cukup untuk mencari biang ribut.
sort_desc(
sum by (alertname, severity) (
count_over_time(ALERTS{alertstate="firing"}[30d])
)
)
Hampir di setiap audit yang saya lakukan, pola yang muncul mirip: segelintir alert berbasis penyebab (CPU, memory, restart pod, koneksi database) menyumbang sebagian besar kebisingan, sementara alert yang benar-benar menangkap insiden jumlahnya sedikit.
Konfigurasi Alertmanager: Grouping, Routing per Severity, dan Jam Kerja
Prinsip routing yang saya pakai sederhana. Ada tiga severity, dan masing-masing punya satu tujuan saja:
| Severity | Arti | Tujuan |
|---|---|---|
critical | Lolos tes 3 pagi | Pager (tool on-call), kapan saja |
warning | Perlu dilihat, tapi bisa menunggu | Channel Slack, hanya jam kerja |
info | Konteks untuk debugging | Tidak dinotifikasi, cukup dashboard |
Berikut alertmanager.yml yang menerapkannya. Konfigurasi ini memakai sintaks matchers, time_intervals, dan active_time_intervals, jadi gunakan Alertmanager versi 0.25 atau lebih baru (field location untuk zona waktu butuh versi ini).
global:
resolve_timeout: 5m
route:
receiver: slack-default
# Gabungkan alert sejenis dari service yang sama menjadi satu notifikasi
group_by: ['alertname', 'service']
group_wait: 30s
group_interval: 5m
repeat_interval: 12h
routes:
# 1. Hanya critical yang boleh masuk pager
- matchers:
- severity="critical"
receiver: oncall-pager
group_wait: 15s
repeat_interval: 2h
# 2. Warning ke Slack, hanya di jam kerja WIB
- matchers:
- severity="warning"
receiver: slack-warning
active_time_intervals:
- jam-kerja
# 3. Info tidak dinotifikasi sama sekali
- matchers:
- severity="info"
receiver: blackhole
time_intervals:
- name: jam-kerja
time_intervals:
- weekdays: ['monday:friday']
times:
- start_time: '09:00'
end_time: '18:00'
location: 'Asia/Jakarta'
inhibit_rules:
# Kalau sudah ada critical untuk sebuah service, jangan kirim warning/info
# untuk service yang sama. Satu masalah, satu notifikasi.
- source_matchers:
- severity="critical"
target_matchers:
- severity=~"warning|info"
equal: ['service']
# Kalau seluruh service tidak bisa di-scrape, alert latency dan error
# dari service itu hanya akan menambah kebisingan.
- source_matchers:
- alertname="ServiceTargetDown"
target_matchers:
- alertname=~"HighLatency.*|ErrorBudgetBurn.*"
equal: ['service']
receivers:
- name: slack-default
slack_configs:
- api_url: 'https://hooks.slack.com/services/GANTI/DENGAN/WEBHOOK'
channel: '#alerts'
send_resolved: true
- name: slack-warning
slack_configs:
- api_url: 'https://hooks.slack.com/services/GANTI/DENGAN/WEBHOOK'
channel: '#alerts-warning'
send_resolved: true
- name: oncall-pager
webhook_configs:
# Ganti dengan URL integrasi Alertmanager dari Grafana IRM / OnCall
- url: 'https://example.invalid/integrations/v1/alertmanager/GANTI_TOKEN/'
send_resolved: true
# Receiver tanpa konfigurasi = notifikasi dibuang
- name: blackhole
Beberapa keputusan di sini yang menurut saya paling berpengaruh pada kualitas tidur:
group_by adalah penurun kebisingan paling murah. Tanpa grouping, satu database yang lambat bisa memicu belasan notifikasi terpisah, satu per pod. Dengan group_by: ['alertname', 'service'], semuanya menjadi satu page. Jangan pakai group_by: ['...'] (grouping per seluruh label) di route pager, karena itu sama saja dengan mematikan grouping.
repeat_interval untuk pager jangan terlalu pendek. Kalau orang sudah acknowledge di tool on-call, eskalasi dan pengingat sebaiknya diatur di tool tersebut, bukan lewat Alertmanager yang mengirim ulang tiap 15 menit. Dua jam adalah titik awal yang wajar bagi saya. Sesuaikan dengan pola insiden tim Anda.
active_time_intervals membuat warning tidak pernah membangunkan orang. Di luar jam kerja, notifikasi untuk route itu ditahan. Kalau masalahnya masih ada keesokan harinya, alert itu masih firing dan akan terkirim ke channel setelah jam kerja dimulai. Kalau masalahnya sudah hilang sendiri, Anda baru saja mendapat bukti bahwa alert itu memang tidak layak jadi page.
Sebelum deploy, validasi konfigurasi dan uji routing-nya dengan amtool:
# Validasi sintaks
amtool check-config alertmanager.yml
# Uji: alert critical dari service checkout akan dikirim ke receiver mana?
amtool config routes test --config.file=alertmanager.yml severity=critical service=checkout
# Output yang diharapkan: oncall-pager
# Tampilkan pohon routing lengkap
amtool config routes show --config.file=alertmanager.yml
Alertmanager Inhibit Rules: Jebakan Label yang Hilang
Inhibit rules adalah fitur yang paling sering saya lihat dikonfigurasi setengah jadi. Ada satu perilaku yang perlu Anda ketahui: label di equal yang tidak ada di alert source maupun target dianggap sama. Artinya, kalau ada alert critical tanpa label service (misalnya alert infrastruktur dari exporter yang tidak Anda beri label), aturan pertama di atas bisa ikut membungkam warning lain yang juga tidak punya label service, walaupun keduanya tidak berhubungan.
Solusinya ada di disiplin label, bukan di Alertmanager: pastikan setiap alerting rule di Prometheus selalu menyertakan label service dan severity. Saya biasanya menambahkan pengecekan di CI yang menolak rule tanpa kedua label itu. Untuk mengecek alert apa saja yang sedang dibungkam, jalankan:
amtool alert query --inhibited --alertmanager.url=http://localhost:9093
Dari Alert Berbasis Penyebab ke Alert Berbasis SLO
Inilah perubahan dengan dampak terbesar. Alert berbasis penyebab (“CPU tinggi”, “restart pod”, “koneksi DB 80%”) bertanya apakah ada yang terlihat aneh? Alert berbasis gejala bertanya apakah pengguna sedang kesulitan? Hanya pertanyaan kedua yang konsisten lolos tes 3 pagi.
Kalau tim Anda belum punya SLO, mulai dulu dari artikel SLO dan error budget untuk tim 3 orang. Di sini saya anggap Anda sudah punya target, misalnya 99,5% request ke service checkout tidak menghasilkan 5xx dalam window 30 hari. Artinya error budget-nya 0,5%.
Pola yang saya rekomendasikan adalah multi-window, multi-burn-rate dari Google SRE Workbook. Alert hanya berbunyi kalau error budget terbakar cepat di window panjang dan masih terbakar di window pendek. Window panjang mencegah alert karena lonjakan sesaat, sedangkan window pendek membuat alert cepat padam setelah masalah selesai.
Pertama, recording rules untuk rasio error di beberapa window:
groups:
- name: slo-recording
rules:
- record: service:http_error_ratio:rate5m
expr: |
sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (service) (rate(http_requests_total[5m]))
- record: service:http_error_ratio:rate30m
expr: |
sum by (service) (rate(http_requests_total{status=~"5.."}[30m]))
/
sum by (service) (rate(http_requests_total[30m]))
- record: service:http_error_ratio:rate1h
expr: |
sum by (service) (rate(http_requests_total{status=~"5.."}[1h]))
/
sum by (service) (rate(http_requests_total[1h]))
- record: service:http_error_ratio:rate6h
expr: |
sum by (service) (rate(http_requests_total{status=~"5.."}[6h]))
/
sum by (service) (rate(http_requests_total[6h]))
Lalu dua alert: satu untuk pembakaran cepat (page) dan satu untuk pembakaran lambat (warning, jam kerja):
groups:
- name: slo-alerts
rules:
# Burn rate 14.4x: sekitar 2% budget 30 hari habis dalam 1 jam.
# Ini layak membangunkan orang.
- alert: ErrorBudgetBurnFast
expr: |
service:http_error_ratio:rate1h{service="checkout"} > (14.4 * 0.005)
and
service:http_error_ratio:rate5m{service="checkout"} > (14.4 * 0.005)
for: 2m
labels:
severity: critical
service: checkout
annotations:
summary: "Error budget checkout terbakar sangat cepat"
runbook_url: "https://wiki.internal/runbook/checkout-error-budget"
# Burn rate 6x: sekitar 5% budget habis dalam 6 jam.
# Serius, tapi bisa ditangani besok pagi.
- alert: ErrorBudgetBurnSlow
expr: |
service:http_error_ratio:rate6h{service="checkout"} > (6 * 0.005)
and
service:http_error_ratio:rate30m{service="checkout"} > (6 * 0.005)
for: 15m
labels:
severity: warning
service: checkout
annotations:
summary: "Error budget checkout terbakar lebih cepat dari normal"
Angka 14,4 dan 6 bukan angka sakral. Keduanya adalah titik awal dari SRE Workbook untuk SLO 30 hari. Kalau traffic Anda kecil (misalnya puluhan request per menit di malam hari), satu-dua error saja bisa membuat rasio melonjak. Untuk kasus seperti itu, tambahkan syarat volume minimum di ekspresi, atau perpanjang window pendeknya.
Lalu apa nasib alert penyebab yang lama? Ini keputusan saya per kategori:
- CPU dan memory tinggi: turunkan ke
info. Jadikan panel dashboard yang Anda buka setelah alert SLO berbunyi. - Pod restart:
warningkalau restart berulang dalam satu jam. Kalau restart menyebabkan error untuk pengguna, alert SLO yang akan menangkapnya. - Disk hampir penuh: tetap boleh
critical, tapi pakai prediksi, bukan persentase. Contohnyapredict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4 * 3600) < 0artinya disk diperkirakan penuh dalam 4 jam. Itu lolos tes 3 pagi karena dampaknya dekat dan butuh tindakan manusia. - Sertifikat TLS kedaluwarsa:
warningkalau tersisa kurang dari 14 hari, dan buat tiket. Kalau sampai harus jadi page, berarti otomasi renewal Anda yang bermasalah.
Satu aturan tambahan yang saya wajibkan: setiap alert critical harus punya runbook_url. Alert yang membangunkan orang tanpa memberi tahu langkah pertama adalah alert yang belum selesai ditulis.
Grafana OnCall vs PagerDuty: Pick Saya untuk Tim Kecil
Alertmanager menentukan apa yang dikirim. Tool on-call menentukan siapa yang dibangunkan, lewat kanal apa, dan apa yang terjadi kalau orang itu tidak merespons. Ada satu konteks penting dulu: Grafana Labs sudah mengumumkan bahwa Grafana OnCall OSS (versi self-hosted) masuk mode maintenance sejak 2025 dan dijadwalkan diarsipkan pada 2026. Fitur OnCall sekarang dikembangkan di Grafana Cloud IRM. Jadi perbandingan yang relevan hari ini adalah Grafana Cloud IRM versus PagerDuty.
Kriteria yang saya pakai untuk tim 2 sampai 8 orang:
| Kriteria | Grafana Cloud IRM (OnCall) | PagerDuty |
|---|---|---|
| Integrasi dengan stack Prometheus + Grafana | Sangat mulus, satu ekosistem | Baik, lewat pagerduty_configs bawaan Alertmanager |
| Schedule dan rotasi | Cukup untuk rotasi sederhana | Paling matang: override, layer, follow-the-sun |
| Escalation policy | Ada, cukup untuk tim kecil | Lebih granular dan teruji di skala besar |
| Biaya untuk tim kecil | Umumnya lebih ramah, ada tier gratis dengan jumlah user terbatas | Ada paket gratis yang sangat terbatas; paket berbayar dihitung per user |
| Integrasi lintas vendor | Cukup | Ekosistem integrasi paling luas |
| Kesan di mata auditor enterprise | Cukup | Sering sudah jadi standar di checklist vendor |
Batas user di tier gratis dan harga per user berubah dari waktu ke waktu, jadi cek halaman pricing masing-masing sebelum memutuskan.
Pick saya: Grafana Cloud IRM, untuk tim kecil yang sudah memakai Prometheus dan Grafana. Alasannya bukan soal fitur. Alasannya adalah satu tempat lebih sedikit yang harus dirawat. Alert, dashboard, dan jadwal on-call berada di ekosistem yang sama, dan engineer yang terbangun jam 3 pagi tidak perlu berpindah-pindah tool sambil setengah sadar.
Pilih PagerDuty kalau salah satu kondisi ini berlaku: Anda menjual ke klien enterprise atau perbankan yang mewajibkan tool on-call tertentu dalam proses audit vendor, rotasi Anda melibatkan banyak tim dengan escalation berlapis, atau sumber alert Anda tersebar di banyak vendor di luar ekosistem Grafana. Trade-off-nya adalah biaya per user yang terasa di tim kecil, dan satu sistem lagi yang konfigurasinya harus disinkronkan.
Kalau memilih PagerDuty, receiver di Alertmanager cukup diganti seperti ini:
receivers:
- name: oncall-pager
pagerduty_configs:
# Integration key dari service PagerDuty (Events API v2)
- routing_key: 'GANTI_DENGAN_INTEGRATION_KEY'
send_resolved: true
Satu hal yang wajib dilakukan apa pun tool-nya: uji kanal notifikasi ke nomor Indonesia sebelum rotasi berjalan. Kirim test page lewat push notification aplikasi, SMS, dan telepon, lalu pastikan semuanya benar-benar sampai dan cukup keras untuk membangunkan orang. Jangan sampai Anda baru tahu ada kanal yang tidak berfungsi saat insiden sungguhan.
Rotasi yang Manusiawi untuk Tim Kecil
Konfigurasi sebagus apa pun tidak akan menolong kalau rotasinya tidak manusiawi. Beberapa aturan yang saya anggap minimum:
- Rotasi mingguan dengan serah terima tertulis. Lima menit di awal minggu untuk membahas alert yang berbunyi, alert yang harus disetel ulang, dan insiden yang masih terbuka.
- Setiap page di luar jam kerja harus berujung pada tindakan perbaikan. Bisa berupa memperbaiki penyebabnya, menurunkan severity alert-nya, atau menghapusnya. Alert yang membangunkan orang dua kali tanpa perubahan apa pun adalah kegagalan proses.
- Ada waktu pemulihan setelah malam yang berat. Engineer yang menangani insiden jam 3 pagi tidak seharusnya diharapkan ikut standup jam 9 seperti biasa. Sepakati aturannya bersama sebelum dibutuhkan, jangan setelahnya.
- Lacak jumlah page di luar jam kerja per orang per minggu. Kalau angkanya terus naik, itu sinyal untuk memperbaiki sistem, bukan untuk meminta orang lebih tahan banting.
Di Hari Kesehatan Jiwa Sedunia ini, saya ingin menegaskan satu hal: on-call yang berisik bukan ujian ketangguhan. Itu bug, dan bisa diperbaiki seperti bug lainnya. Kalau giliran on-call sudah membuat Anda terus sulit tidur, cemas, atau kelelahan sampai mengganggu keseharian, bicarakan dengan tim Anda dan pertimbangkan untuk berkonsultasi dengan tenaga kesehatan profesional di fasilitas kesehatan terdekat, psikolog, atau psikiater.
Penutup: Checklist Minggu Ini
Kalau Anda hanya punya satu sore untuk memperbaiki alert fatigue on call di tim, kerjakan urutan ini:
- Audit alert 30 hari terakhir dengan tes 3 pagi.
- Pastikan setiap rule punya label
servicedanseverity. - Terapkan routing tiga severity dan
group_bydi Alertmanager, lalu uji denganamtool config routes test. - Tambahkan inhibit rule critical-membungkam-warning per service.
- Ganti alert penyebab di service paling kritis dengan satu pasang alert burn rate SLO.
- Tetapkan tool on-call, uji kanal notifikasi, dan tulis aturan waktu pemulihan.
Ukuran keberhasilannya juga sederhana: dalam sebulan, berapa kali orang terbangun, dan berapa kali bangunnya memang perlu. Kalau dua angka itu makin mendekati sama, konfigurasi Anda sudah bekerja.
Ditulis oleh Asti Larasati