HowTo: Eingangsfilter für gezielte Logfile-Erfassung

Erfahren Sie in diesem Beitrag, wie Sie Eingangsfilter korrekt konfigurieren und worauf Sie dabei achten sollten, um irrelevante Logdaten gezielt auszusortieren und die Qualität Ihrer SIEM-Datenbasis deutlich zu verbessern.

Eingangsfilter werden direkt auf dem Pulsar Agent angewendet, dementsprechend vor der Weiterleitung der Logdaten ins Backend. In diesem frühen Verarbeitungsstadium stehen noch keine angereicherten oder geparsten Felder wie bspw.: sophos.src_ip oder sophos.dest_ip zur Verfügung. Stattdessen erfolgt die Filterung ausschließlich auf Basis der rohen Syslog-Daten, in der Regel über das Feld message.

Daraus ergibt sich ein gängiger Anwendungsfall: Es sollen nur sicherheitsrelevante Logs ausgewählter Hosts (besonders in Bezug auf kritische Systeme) im SIEM erfasst werden. Übrige Logs hingegen, sollen verworfen werden. Dieses Vorgehen spart Speicherplatz und erhöht die Relevanz der vorhandenen Daten im System.

Anwendungsszenario: Nur Logs bestimmter Hosts erfassen

Beispielkontext

Eine Sophos XGS-Firewall sendet Syslog-Daten im Format RFC 5424 an den Pulsar Agent. Ziel ist es, nur Logeinträge bestimmter IP-Adressen aus dem Subnetz 192.168.42.0/24 aufzunehmen. Alle anderen Hosts sollen ausgefiltert werden.

Kritische Hosts:

  • 192.168.42.2
  • 192.168.42.3
  • 192.168.42.42

Technische Umsetzung

Syslog-Format überprüfen

Das Format der eingehenden Syslog-Daten ist entscheidend für die korrekte Anwendung des Filters.
Beachten Sie folgende Punkte:

  • RFC 5424 (z.  bei Sophos) unterscheidet sich strukturell deutlich von älteren Formaten wie RFC 3164 (BSD).
  • Stellen Sie sicher, dass Sie das korrekte Feld zur Filterung verwenden – bei RFC 5424 i.  R. das Feld message.

Regex-Filter definieren

Die Eingangsfilter nutzen die RE2 Regex-Engine von Google, welche folgende Eigenschaften mitbringt:

  • Keine Lookahead- oder Lookbehind-Funktionen
  • Garantiert lineare Laufzeit
  • Hohe Ausführungssicherheit, auch bei großen Datenmengen
  • Einschränkung: Komplexere Ausnahmen (z.  IP-Bereiche mit Ausnahmen) müssen explizit umgesetzt werden.

Beispiel: Nur bestimmte IPs zulassen

Das Ziel ist es die ausschließlich die genannten kritischen Hosts durchzulassen. In Bezug auf das Beispiel bedeutet das nur Logzeilen mit IP-Adressen 192.168.42.2, .3 oder .42 im Feld message.

Möglich macht dies bspw. ein posivitiver Match auf alle weiteren IP-Adressen mit:

^192\.168\.42\.(?:[^2-3]$|[0-35-9]\d$|[4][0-13-9]$|\d{3}$)

oder

^192\.168\.42\.(1|4|5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|43|44|45|...|254)$

Diese Variante ist aufwändiger, aber notwendig, da komplexere logische Ausdrücke (z. B. „alle außer“) in RE2 nicht direkt unterstützt werden.

Mit Eingangsfiltern lassen sich Logdaten bereits am Pulsar Agent effektiv vorsortieren, nah an der Quelle und ressourcenschonend. Durch gezielte Filterung sicherheitsrelevanter Quellen (z. B. einzelne IPs) können Relevanz, Performance und Übersichtlichkeit im SIEM spürbar verbessert werden.