Führen Sie logstash mit Docker aus und versuchen Sie, Daten in Elastic Cloud hochzuladen

Umgebung

Umgebung: Elasticsearch verwendet Elastic Cloud logstash: 7.9.1 metricbeat: 7.9.1

Elastic Cloud ist bereits eingestellt. Cloud-ID und Passwort werden ebenfalls notiert.

Die Beziehung zwischen jeder Funktion ist wie folgt

Logstash-Bilderfassung

Überprüfen Sie den Pfad des neuesten Bildes aus dem Folgenden

logstash | Docker @ Elastic

Zum Zeitpunkt des Schreibens war der späteste 7.9.1.

docker pull docker.elastic.co/logstash/logstash:7.9.1

Anlaufen

docker run --rm -it -p 5044:5044 docker.elastic.co/logstash/logstash:7.9.1

Erfolg, wenn Folgendes angezeigt wird

[2020-09-22T02:58:20,563][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

Bestätigung starten

$ docker ps

CONTAINER ID        IMAGE                                       COMMAND                  CREATED             STATUS              PORTS                              NAMES
b8867b83444c        docker.elastic.co/logstash/logstash:7.9.1   "/usr/local/bin/dock…"   7 minutes ago       Up 7 minutes        0.0.0.0:5044->5044/tcp, 9600/tcp   heuristic_mestorf

Metricbeat

Hochladen von Daten in Elastic Cloud Erstellen Sie eine Datenquelle mit Metricbeat und senden Sie sie an Logstash

Download Metricbeat Download Metricbeat • Ship Metrics to Elasticsearch | Elastic

Bearbeiten von metricbeat.yml

Kommentieren Sie elasticsearch aus und aktivieren Sie logstash

#output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]

output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

Führen Sie metricbeat.yml aus

./metricbeat -e

Überprüfen Sie den Logstash

Wenn auf der Logstash-Seite Folgendes angezeigt wird, wurden die Daten an metricbeat-> logstash gesendet.

{
    "@timestamp" => 2020-09-22T04:31:06.525Z,
         "event" => {
          "module" => "system",
        "duration" => 74705442,
         "dataset" => "system.process"
    },
       "service" => {
        "type" => "system"
    },
     "metricset" => {
          "name" => "process",
        "period" => 10000
    },
Kürzung

Änderung der Logstash-Einstellung

Standardmäßig werden die empfangenen Daten nur an die Standardausgabe ausgegeben. Ändern Sie daher die Einstellung, um die Daten an Elastic Cloud zu senden.

Überprüfen Sie den Indexnamen des Ziels.

Werfen Holen Sie sich wie unten zum Endpunkt

Get

https://xxxxxxxxxxx42b7b40a0773f8801e.us-east-1.aws.found.io:9243/_cat/indices?v

Fügen Sie logstash.conf hinzu

Machen Sie den folgenden Inhalt in logstash.conf.

logstash.conf

input {
  beats {
    port => 5044
  }
}
output {
    elasticsearch {
        hosts => ["https://xxxxxxxxxxx42b7b40a0773f8801e.us-east-1.aws.found.io:9243"]
        user => "elastic"
        password => "xxxxxxxxxxxxxxxxxxxxx"
        index => "metricbeat-7.9.1-2020.09.22-000001"
    }
}

Starten Sie logstash neu

docker run --rm -it -p 5044:5044 -v /Users/xxxxx/Documents/Logstash:/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:7.9.1 

Bestätigt mit Kibana

Wählen Sie auf dem HOME-Bildschirm von Kibana die Option Daten visualisieren und untersuchen → Metriken

Wählen Sie Host-Metriken

Erfolg, wenn so angezeigt