Analysieren und visualisieren Sie CSV-Protokolle mit Excel Elastic Stack (Docker-Compose) - Empfangen Sie Eingaben von mehreren Beats mit Pipeline-to-Pipeline von Logstash

Einführung

Vielen Dank! Ein Ingenieur, der für den Produktinspektionsprozess in der Abteilung Produktionstechnik verantwortlich ist. Das Analysieren und Visualisieren von CSV-Protokollen mit Excel Elastic Stack (Docker-Compose) - Elastic Stack ist eine Fortsetzung.

Zielgruppe

Dieser Artikel richtet sich an Personen, die Elastic Stack noch nicht kennen und darüber nachdenken, ihn auszuprobieren.

Inhalt dieses Artikels

Es wurde an einem bestimmten Port (5044) von Logstash akzeptiert und die Eingabe von mehreren Beats wurde an eine andere Pipeline gesendet.

Ich habe eine Reihe von Einstellungsdateien in GitLab eingefügt. Bitte beziehen Sie sich darauf. Klicken Sie hier für das Repository-> Elastic-Stack

Pipeline-zu-Pipeline-Einstellungen

Bereiten Sie eine Beats-Server-Pipeline vor und empfangen Sie sie über Port 5044. [Quelle] verzweigt mit Filebeat oder Metricbeat und fließt zu jeder Pipeline. Die offizielle Dokumentation ist hier. Es wird nach der Quelle beurteilt, aber ich denke, dass es nach dem Typ als offiziell beurteilt werden sollte.

logstash/config/pipelines.yml

- pipeline.id: beats-server
  config.string: |
    input { beats { port => 5044 } }
    output {
        if [source] == 'filebeat' {
          pipeline { send_to => filebeatlog }
        } else if [source] == 'metricbeat' {
          pipeline { send_to => metricbeatlog }
        }
    }

- pipeline.id: filebeat-processing
  path.config: "/usr/share/logstash/pipeline/{input/filebeat_in,filter/filebeat_filter,output/filebeat_out}.cfg"
  pipeline.batch.size: 50
  pipeline.batch.delay: 50

- pipeline.id: metricbeat-processing
  path.config: "/usr/share/logstash/pipeline/{input/metricbeat_in,filter/metricbeat_filter,output/metricbeat_out}.cfg"
  pipeline.batch.size: 50
  pipeline.batch.delay: 50

Eingabeeinstellungen

Ändern Sie den Empfang an Port 5044 so, dass er an der Pipeline-Adresse empfangen wird.

logstash/pipeline/input/filebeat_in.cfg

input {
#  beats {
#    port => 5044
#  }

  pipeline {
    address => filebeatlog
  }
}

Beats-Einstellungen (anders als bei der offiziellen Methode)

Legen Sie das Quellfeld fest, um zu identifizieren, woher es in logstash stammt. (Ich denke, dass der Typ gemäß der Formel festgelegt ist.) Fields_under_root Durch Festlegen können Sie bei der Ausgabe von Filebeat im Feld der obersten Ebene speichern. Wenn Sie diese Einstellung nicht vornehmen, funktioniert sie nicht ordnungsgemäß.

beats/filebeat/config/filebeat.yml

  fields:
    source: 'filebeat'
  fields_under_root: true

Schließlich

Jetzt können Sie auch komplexe Pipelines bauen. In Zukunft möchte ich metrischen Beat und so weiter einführen.