Analysez et visualisez les journaux CSV avec Excel Elastic Stack (docker-compose) - Recevez des entrées de plusieurs battements avec Pipeline-to-Pipeline de Logstash

introduction

Merci! Un ingénieur en charge du processus d'inspection des produits au sein du département d'ingénierie de production. Analyse et visualisation des journaux csv avec Excel Elastic Stack (docker-compose) --Elastic Stack est une continuation.

Public cible

Cet article est destiné à ceux qui découvrent Elastic Stack et qui envisagent de l'essayer.

Contenu de cet article

Il a été accepté sur un port spécifique (5044) de Logstash, et l'entrée de plusieurs battements a été envoyée à un autre pipeline.

J'ai mis un ensemble de fichiers de paramètres dans GitLab, veuillez donc vous y référer. Cliquez ici pour le dépôt-> élastique-stack

Paramètres de pipeline à pipeline

Préparez un pipeline beats-server et recevez-le sur le port 5044. [source] se branche avec filebeat ou metricbeat et se dirige vers chaque pipeline. La documentation officielle est ici. Il est jugé par la source, mais je pense qu'il devrait être jugé par le type comme officiellement.

logstash/config/pipelines.yml

- pipeline.id: beats-server
  config.string: |
    input { beats { port => 5044 } }
    output {
        if [source] == 'filebeat' {
          pipeline { send_to => filebeatlog }
        } else if [source] == 'metricbeat' {
          pipeline { send_to => metricbeatlog }
        }
    }

- pipeline.id: filebeat-processing
  path.config: "/usr/share/logstash/pipeline/{input/filebeat_in,filter/filebeat_filter,output/filebeat_out}.cfg"
  pipeline.batch.size: 50
  pipeline.batch.delay: 50

- pipeline.id: metricbeat-processing
  path.config: "/usr/share/logstash/pipeline/{input/metricbeat_in,filter/metricbeat_filter,output/metricbeat_out}.cfg"
  pipeline.batch.size: 50
  pipeline.batch.delay: 50

paramètres d'entrée

Modifiez ce qui a été reçu au port 5044 afin qu'il soit reçu à l'adresse du pipeline.

logstash/pipeline/input/filebeat_in.cfg

input {
#  beats {
#    port => 5044
#  }

  pipeline {
    address => filebeatlog
  }
}

Paramètres de battements (différents de la méthode officielle)

Définissez le champ source pour identifier son origine dans logstash. (Je pense que le type est défini selon la formule.) Fields_under_root En définissant, vous pouvez stocker dans le champ de niveau supérieur lors de la sortie de filebeat. Si vous n'effectuez pas ce paramètre, cela ne fonctionnera pas correctement.

beats/filebeat/config/filebeat.yml

  fields:
    source: 'filebeat'
  fields_under_root: true

finalement

Vous pouvez désormais également créer des pipelines complexes. À l'avenir, j'aimerais présenter le battement métrique et ainsi de suite.