Exécutez logstash avec Docker et essayez de télécharger des données sur Elastic Cloud

environnement

Environnement: Elasticsearch utilise Elastic Cloud logstash: 7.9.1 metricbeat: 7.9.1

Elastic Cloud est déjà configuré. L'identifiant et le mot de passe du cloud sont également indiqués.

La relation entre chaque fonction est comme ça

acquisition d'image logstash

Vérifiez le chemin de la dernière image à partir de ce qui suit

logstash | Docker @ Elastic

Au moment de la rédaction de cet article, le dernier en date était 7.9.1.

docker pull docker.elastic.co/logstash/logstash:7.9.1

Commencez

docker run --rm -it -p 5044:5044 docker.elastic.co/logstash/logstash:7.9.1

Succès si ce qui suit est affiché

[2020-09-22T02:58:20,563][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

Confirmation de démarrage

$ docker ps

CONTAINER ID        IMAGE                                       COMMAND                  CREATED             STATUS              PORTS                              NAMES
b8867b83444c        docker.elastic.co/logstash/logstash:7.9.1   "/usr/local/bin/dock…"   7 minutes ago       Up 7 minutes        0.0.0.0:5044->5044/tcp, 9600/tcp   heuristic_mestorf

Metricbeat

Télécharger des données sur Elastic Cloud Créez une source de données avec Metricbeat et envoyez-la à Logstash

Download Metricbeat Download Metricbeat • Ship Metrics to Elasticsearch | Elastic

Modification de metricbeat.yml

Commentez elasticsearch et activez Logstash

#output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]

output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

Exécutez metricbeat.yml

./metricbeat -e

Vérifier logstash

Si ce qui suit est affiché du côté de logstash, les données ont été envoyées à metricbeat-> logstash.

{
    "@timestamp" => 2020-09-22T04:31:06.525Z,
         "event" => {
          "module" => "system",
        "duration" => 74705442,
         "dataset" => "system.process"
    },
       "service" => {
        "type" => "system"
    },
     "metricset" => {
          "name" => "process",
        "period" => 10000
    },
réduction

Modification des paramètres de Logstash

Par défaut, les données reçues sont uniquement sorties vers la sortie standard, modifiez donc le paramètre pour envoyer les données à Elastic Cloud.

Vérifiez le nom d'index de la destination.

Jetez Get comme ci-dessous à Endpoint

Get

https://xxxxxxxxxxx42b7b40a0773f8801e.us-east-1.aws.found.io:9243/_cat/indices?v

Ajouter logstash.conf

Créez le contenu suivant dans logstash.conf.

logstash.conf

input {
  beats {
    port => 5044
  }
}
output {
    elasticsearch {
        hosts => ["https://xxxxxxxxxxx42b7b40a0773f8801e.us-east-1.aws.found.io:9243"]
        user => "elastic"
        password => "xxxxxxxxxxxxxxxxxxxxx"
        index => "metricbeat-7.9.1-2020.09.22-000001"
    }
}

Redémarrez logstash

docker run --rm -it -p 5044:5044 -v /Users/xxxxx/Documents/Logstash:/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:7.9.1 

Confirmé avec Kibana

Depuis l'écran d'accueil de Kibana, sélectionnez Visualiser et explorer les données → Métriques

Sélectionnez les métriques d'hôte

Succès si affiché comme ça