karawaci.kode

2026-10-10 · 10 min

Alert Fatigue: Tuning Alertmanager agar On-Call Tidak Kelelahan

Tanggal 10 Oktober adalah Hari Kesehatan Jiwa Sedunia, dan saya ingin membicarakan sesuatu yang jarang masuk daftar isu kesehatan mental di tim engineering: alert fatigue on call. HP bergetar jam 3 pagi, Anda bangun, membuka laptop, lalu mendapati alertnya “CPU node-3 di atas 85%” yang sudah pulih sendiri sebelum Anda sempat login. Kejadian seperti itu tiga kali seminggu sudah cukup untuk membuat orang membenci giliran on-call, dan pelan-pelan berhenti percaya pada alert.

Sebagai reviewer dev tool, saya terbiasa menilai sesuatu dari kriteria, bukan dari kesan. Jadi di artikel ini saya pakai satu kriteria utama untuk setiap alert: apakah alert ini layak membangunkan orang jam 3 pagi? Kalau jawabannya tidak, alert itu tidak boleh berbunyi di pager. Ia boleh ada di Slack, di dashboard, atau di tiket, tapi tidak boleh di HP orang yang sedang tidur.

Di bawah ini ada empat hal: tes kelayakan alert, konfigurasi Alertmanager yang saya pakai sebagai titik awal, cara mengubah alert berbasis penyebab menjadi alert berbasis SLO, dan pick tegas untuk routing on-call tim kecil.

Tes 3 Pagi: Empat Pertanyaan Sebelum Alert Boleh Jadi Page

Setiap alert yang ingin masuk ke pager harus lolos keempat pertanyaan ini. Satu saja jawabannya “tidak”, turunkan severity-nya.

  1. Apakah pengguna sedang terdampak, atau pasti terdampak dalam beberapa jam ke depan? “Checkout gagal untuk 5% request” lolos. “Memory pod naik” tidak lolos, kecuali terbukti berdampak.
  2. Apakah ada tindakan yang bisa dilakukan manusia sekarang? Alert yang jawabannya selalu “tunggu saja, nanti pulih sendiri” bukan page.
  3. Apakah tindakan itu tidak bisa menunggu sampai jam 9 pagi? Sertifikat TLS yang kedaluwarsa 20 hari lagi itu penting, tapi tempatnya di tiket.
  4. Apakah butuh manusia, bukan otomasi? Kalau responsnya selalu “restart pod”, yang perlu Anda perbaiki adalah liveness probe atau autoscaling, bukan jadwal tidur engineer.

Saran saya, lakukan audit dulu sebelum menyentuh konfigurasi. Ambil laporan insiden 30 hari terakhir dari tool on-call Anda (baik PagerDuty maupun Grafana IRM punya riwayat insiden), lalu buat tabel sederhana: nama alert, berapa kali berbunyi, berapa kali ada tindakan nyata, dan hasil tes empat pertanyaan di atas. Kalau datanya belum ada di tool on-call, Prometheus bisa memberi gambaran kasar alert mana yang paling lama berbunyi:

# Perkiraan: jumlah sampel evaluasi saat alert berstatus firing selama 30 hari.
# Ini mengukur "berapa lama berbunyi", bukan jumlah page, tapi cukup untuk mencari biang ribut.
sort_desc(
  sum by (alertname, severity) (
    count_over_time(ALERTS{alertstate="firing"}[30d])
  )
)

Hampir di setiap audit yang saya lakukan, pola yang muncul mirip: segelintir alert berbasis penyebab (CPU, memory, restart pod, koneksi database) menyumbang sebagian besar kebisingan, sementara alert yang benar-benar menangkap insiden jumlahnya sedikit.

Konfigurasi Alertmanager: Grouping, Routing per Severity, dan Jam Kerja

Prinsip routing yang saya pakai sederhana. Ada tiga severity, dan masing-masing punya satu tujuan saja:

SeverityArtiTujuan
criticalLolos tes 3 pagiPager (tool on-call), kapan saja
warningPerlu dilihat, tapi bisa menungguChannel Slack, hanya jam kerja
infoKonteks untuk debuggingTidak dinotifikasi, cukup dashboard

Berikut alertmanager.yml yang menerapkannya. Konfigurasi ini memakai sintaks matchers, time_intervals, dan active_time_intervals, jadi gunakan Alertmanager versi 0.25 atau lebih baru (field location untuk zona waktu butuh versi ini).

global:
  resolve_timeout: 5m

route:
  receiver: slack-default
  # Gabungkan alert sejenis dari service yang sama menjadi satu notifikasi
  group_by: ['alertname', 'service']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 12h

  routes:
    # 1. Hanya critical yang boleh masuk pager
    - matchers:
        - severity="critical"
      receiver: oncall-pager
      group_wait: 15s
      repeat_interval: 2h

    # 2. Warning ke Slack, hanya di jam kerja WIB
    - matchers:
        - severity="warning"
      receiver: slack-warning
      active_time_intervals:
        - jam-kerja

    # 3. Info tidak dinotifikasi sama sekali
    - matchers:
        - severity="info"
      receiver: blackhole

time_intervals:
  - name: jam-kerja
    time_intervals:
      - weekdays: ['monday:friday']
        times:
          - start_time: '09:00'
            end_time: '18:00'
        location: 'Asia/Jakarta'

inhibit_rules:
  # Kalau sudah ada critical untuk sebuah service, jangan kirim warning/info
  # untuk service yang sama. Satu masalah, satu notifikasi.
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity=~"warning|info"
    equal: ['service']

  # Kalau seluruh service tidak bisa di-scrape, alert latency dan error
  # dari service itu hanya akan menambah kebisingan.
  - source_matchers:
      - alertname="ServiceTargetDown"
    target_matchers:
      - alertname=~"HighLatency.*|ErrorBudgetBurn.*"
    equal: ['service']

receivers:
  - name: slack-default
    slack_configs:
      - api_url: 'https://hooks.slack.com/services/GANTI/DENGAN/WEBHOOK'
        channel: '#alerts'
        send_resolved: true

  - name: slack-warning
    slack_configs:
      - api_url: 'https://hooks.slack.com/services/GANTI/DENGAN/WEBHOOK'
        channel: '#alerts-warning'
        send_resolved: true

  - name: oncall-pager
    webhook_configs:
      # Ganti dengan URL integrasi Alertmanager dari Grafana IRM / OnCall
      - url: 'https://example.invalid/integrations/v1/alertmanager/GANTI_TOKEN/'
        send_resolved: true

  # Receiver tanpa konfigurasi = notifikasi dibuang
  - name: blackhole

Beberapa keputusan di sini yang menurut saya paling berpengaruh pada kualitas tidur:

group_by adalah penurun kebisingan paling murah. Tanpa grouping, satu database yang lambat bisa memicu belasan notifikasi terpisah, satu per pod. Dengan group_by: ['alertname', 'service'], semuanya menjadi satu page. Jangan pakai group_by: ['...'] (grouping per seluruh label) di route pager, karena itu sama saja dengan mematikan grouping.

repeat_interval untuk pager jangan terlalu pendek. Kalau orang sudah acknowledge di tool on-call, eskalasi dan pengingat sebaiknya diatur di tool tersebut, bukan lewat Alertmanager yang mengirim ulang tiap 15 menit. Dua jam adalah titik awal yang wajar bagi saya. Sesuaikan dengan pola insiden tim Anda.

active_time_intervals membuat warning tidak pernah membangunkan orang. Di luar jam kerja, notifikasi untuk route itu ditahan. Kalau masalahnya masih ada keesokan harinya, alert itu masih firing dan akan terkirim ke channel setelah jam kerja dimulai. Kalau masalahnya sudah hilang sendiri, Anda baru saja mendapat bukti bahwa alert itu memang tidak layak jadi page.

Sebelum deploy, validasi konfigurasi dan uji routing-nya dengan amtool:

# Validasi sintaks
amtool check-config alertmanager.yml

# Uji: alert critical dari service checkout akan dikirim ke receiver mana?
amtool config routes test --config.file=alertmanager.yml severity=critical service=checkout
# Output yang diharapkan: oncall-pager

# Tampilkan pohon routing lengkap
amtool config routes show --config.file=alertmanager.yml

Alertmanager Inhibit Rules: Jebakan Label yang Hilang

Inhibit rules adalah fitur yang paling sering saya lihat dikonfigurasi setengah jadi. Ada satu perilaku yang perlu Anda ketahui: label di equal yang tidak ada di alert source maupun target dianggap sama. Artinya, kalau ada alert critical tanpa label service (misalnya alert infrastruktur dari exporter yang tidak Anda beri label), aturan pertama di atas bisa ikut membungkam warning lain yang juga tidak punya label service, walaupun keduanya tidak berhubungan.

Solusinya ada di disiplin label, bukan di Alertmanager: pastikan setiap alerting rule di Prometheus selalu menyertakan label service dan severity. Saya biasanya menambahkan pengecekan di CI yang menolak rule tanpa kedua label itu. Untuk mengecek alert apa saja yang sedang dibungkam, jalankan:

amtool alert query --inhibited --alertmanager.url=http://localhost:9093

Dari Alert Berbasis Penyebab ke Alert Berbasis SLO

Inilah perubahan dengan dampak terbesar. Alert berbasis penyebab (“CPU tinggi”, “restart pod”, “koneksi DB 80%”) bertanya apakah ada yang terlihat aneh? Alert berbasis gejala bertanya apakah pengguna sedang kesulitan? Hanya pertanyaan kedua yang konsisten lolos tes 3 pagi.

Kalau tim Anda belum punya SLO, mulai dulu dari artikel SLO dan error budget untuk tim 3 orang. Di sini saya anggap Anda sudah punya target, misalnya 99,5% request ke service checkout tidak menghasilkan 5xx dalam window 30 hari. Artinya error budget-nya 0,5%.

Pola yang saya rekomendasikan adalah multi-window, multi-burn-rate dari Google SRE Workbook. Alert hanya berbunyi kalau error budget terbakar cepat di window panjang dan masih terbakar di window pendek. Window panjang mencegah alert karena lonjakan sesaat, sedangkan window pendek membuat alert cepat padam setelah masalah selesai.

Pertama, recording rules untuk rasio error di beberapa window:

groups:
  - name: slo-recording
    rules:
      - record: service:http_error_ratio:rate5m
        expr: |
          sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
          /
          sum by (service) (rate(http_requests_total[5m]))
      - record: service:http_error_ratio:rate30m
        expr: |
          sum by (service) (rate(http_requests_total{status=~"5.."}[30m]))
          /
          sum by (service) (rate(http_requests_total[30m]))
      - record: service:http_error_ratio:rate1h
        expr: |
          sum by (service) (rate(http_requests_total{status=~"5.."}[1h]))
          /
          sum by (service) (rate(http_requests_total[1h]))
      - record: service:http_error_ratio:rate6h
        expr: |
          sum by (service) (rate(http_requests_total{status=~"5.."}[6h]))
          /
          sum by (service) (rate(http_requests_total[6h]))

Lalu dua alert: satu untuk pembakaran cepat (page) dan satu untuk pembakaran lambat (warning, jam kerja):

groups:
  - name: slo-alerts
    rules:
      # Burn rate 14.4x: sekitar 2% budget 30 hari habis dalam 1 jam.
      # Ini layak membangunkan orang.
      - alert: ErrorBudgetBurnFast
        expr: |
          service:http_error_ratio:rate1h{service="checkout"} > (14.4 * 0.005)
          and
          service:http_error_ratio:rate5m{service="checkout"} > (14.4 * 0.005)
        for: 2m
        labels:
          severity: critical
          service: checkout
        annotations:
          summary: "Error budget checkout terbakar sangat cepat"
          runbook_url: "https://wiki.internal/runbook/checkout-error-budget"

      # Burn rate 6x: sekitar 5% budget habis dalam 6 jam.
      # Serius, tapi bisa ditangani besok pagi.
      - alert: ErrorBudgetBurnSlow
        expr: |
          service:http_error_ratio:rate6h{service="checkout"} > (6 * 0.005)
          and
          service:http_error_ratio:rate30m{service="checkout"} > (6 * 0.005)
        for: 15m
        labels:
          severity: warning
          service: checkout
        annotations:
          summary: "Error budget checkout terbakar lebih cepat dari normal"

Angka 14,4 dan 6 bukan angka sakral. Keduanya adalah titik awal dari SRE Workbook untuk SLO 30 hari. Kalau traffic Anda kecil (misalnya puluhan request per menit di malam hari), satu-dua error saja bisa membuat rasio melonjak. Untuk kasus seperti itu, tambahkan syarat volume minimum di ekspresi, atau perpanjang window pendeknya.

Lalu apa nasib alert penyebab yang lama? Ini keputusan saya per kategori:

  • CPU dan memory tinggi: turunkan ke info. Jadikan panel dashboard yang Anda buka setelah alert SLO berbunyi.
  • Pod restart: warning kalau restart berulang dalam satu jam. Kalau restart menyebabkan error untuk pengguna, alert SLO yang akan menangkapnya.
  • Disk hampir penuh: tetap boleh critical, tapi pakai prediksi, bukan persentase. Contohnya predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4 * 3600) < 0 artinya disk diperkirakan penuh dalam 4 jam. Itu lolos tes 3 pagi karena dampaknya dekat dan butuh tindakan manusia.
  • Sertifikat TLS kedaluwarsa: warning kalau tersisa kurang dari 14 hari, dan buat tiket. Kalau sampai harus jadi page, berarti otomasi renewal Anda yang bermasalah.

Satu aturan tambahan yang saya wajibkan: setiap alert critical harus punya runbook_url. Alert yang membangunkan orang tanpa memberi tahu langkah pertama adalah alert yang belum selesai ditulis.

Grafana OnCall vs PagerDuty: Pick Saya untuk Tim Kecil

Alertmanager menentukan apa yang dikirim. Tool on-call menentukan siapa yang dibangunkan, lewat kanal apa, dan apa yang terjadi kalau orang itu tidak merespons. Ada satu konteks penting dulu: Grafana Labs sudah mengumumkan bahwa Grafana OnCall OSS (versi self-hosted) masuk mode maintenance sejak 2025 dan dijadwalkan diarsipkan pada 2026. Fitur OnCall sekarang dikembangkan di Grafana Cloud IRM. Jadi perbandingan yang relevan hari ini adalah Grafana Cloud IRM versus PagerDuty.

Kriteria yang saya pakai untuk tim 2 sampai 8 orang:

KriteriaGrafana Cloud IRM (OnCall)PagerDuty
Integrasi dengan stack Prometheus + GrafanaSangat mulus, satu ekosistemBaik, lewat pagerduty_configs bawaan Alertmanager
Schedule dan rotasiCukup untuk rotasi sederhanaPaling matang: override, layer, follow-the-sun
Escalation policyAda, cukup untuk tim kecilLebih granular dan teruji di skala besar
Biaya untuk tim kecilUmumnya lebih ramah, ada tier gratis dengan jumlah user terbatasAda paket gratis yang sangat terbatas; paket berbayar dihitung per user
Integrasi lintas vendorCukupEkosistem integrasi paling luas
Kesan di mata auditor enterpriseCukupSering sudah jadi standar di checklist vendor

Batas user di tier gratis dan harga per user berubah dari waktu ke waktu, jadi cek halaman pricing masing-masing sebelum memutuskan.

Pick saya: Grafana Cloud IRM, untuk tim kecil yang sudah memakai Prometheus dan Grafana. Alasannya bukan soal fitur. Alasannya adalah satu tempat lebih sedikit yang harus dirawat. Alert, dashboard, dan jadwal on-call berada di ekosistem yang sama, dan engineer yang terbangun jam 3 pagi tidak perlu berpindah-pindah tool sambil setengah sadar.

Pilih PagerDuty kalau salah satu kondisi ini berlaku: Anda menjual ke klien enterprise atau perbankan yang mewajibkan tool on-call tertentu dalam proses audit vendor, rotasi Anda melibatkan banyak tim dengan escalation berlapis, atau sumber alert Anda tersebar di banyak vendor di luar ekosistem Grafana. Trade-off-nya adalah biaya per user yang terasa di tim kecil, dan satu sistem lagi yang konfigurasinya harus disinkronkan.

Kalau memilih PagerDuty, receiver di Alertmanager cukup diganti seperti ini:

receivers:
  - name: oncall-pager
    pagerduty_configs:
      # Integration key dari service PagerDuty (Events API v2)
      - routing_key: 'GANTI_DENGAN_INTEGRATION_KEY'
        send_resolved: true

Satu hal yang wajib dilakukan apa pun tool-nya: uji kanal notifikasi ke nomor Indonesia sebelum rotasi berjalan. Kirim test page lewat push notification aplikasi, SMS, dan telepon, lalu pastikan semuanya benar-benar sampai dan cukup keras untuk membangunkan orang. Jangan sampai Anda baru tahu ada kanal yang tidak berfungsi saat insiden sungguhan.

Rotasi yang Manusiawi untuk Tim Kecil

Konfigurasi sebagus apa pun tidak akan menolong kalau rotasinya tidak manusiawi. Beberapa aturan yang saya anggap minimum:

  • Rotasi mingguan dengan serah terima tertulis. Lima menit di awal minggu untuk membahas alert yang berbunyi, alert yang harus disetel ulang, dan insiden yang masih terbuka.
  • Setiap page di luar jam kerja harus berujung pada tindakan perbaikan. Bisa berupa memperbaiki penyebabnya, menurunkan severity alert-nya, atau menghapusnya. Alert yang membangunkan orang dua kali tanpa perubahan apa pun adalah kegagalan proses.
  • Ada waktu pemulihan setelah malam yang berat. Engineer yang menangani insiden jam 3 pagi tidak seharusnya diharapkan ikut standup jam 9 seperti biasa. Sepakati aturannya bersama sebelum dibutuhkan, jangan setelahnya.
  • Lacak jumlah page di luar jam kerja per orang per minggu. Kalau angkanya terus naik, itu sinyal untuk memperbaiki sistem, bukan untuk meminta orang lebih tahan banting.

Di Hari Kesehatan Jiwa Sedunia ini, saya ingin menegaskan satu hal: on-call yang berisik bukan ujian ketangguhan. Itu bug, dan bisa diperbaiki seperti bug lainnya. Kalau giliran on-call sudah membuat Anda terus sulit tidur, cemas, atau kelelahan sampai mengganggu keseharian, bicarakan dengan tim Anda dan pertimbangkan untuk berkonsultasi dengan tenaga kesehatan profesional di fasilitas kesehatan terdekat, psikolog, atau psikiater.

Penutup: Checklist Minggu Ini

Kalau Anda hanya punya satu sore untuk memperbaiki alert fatigue on call di tim, kerjakan urutan ini:

  1. Audit alert 30 hari terakhir dengan tes 3 pagi.
  2. Pastikan setiap rule punya label service dan severity.
  3. Terapkan routing tiga severity dan group_by di Alertmanager, lalu uji dengan amtool config routes test.
  4. Tambahkan inhibit rule critical-membungkam-warning per service.
  5. Ganti alert penyebab di service paling kritis dengan satu pasang alert burn rate SLO.
  6. Tetapkan tool on-call, uji kanal notifikasi, dan tulis aturan waktu pemulihan.

Ukuran keberhasilannya juga sederhana: dalam sebulan, berapa kali orang terbangun, dan berapa kali bangunnya memang perlu. Kalau dua angka itu makin mendekati sama, konfigurasi Anda sudah bekerja.

Ditulis oleh Asti Larasati