Analysieren und Visualisieren von CSV-Protokollen mit Excel Elastic Stack (Docker-Compose)

Einführung

Vielen Dank! Ein Ingenieur, der für den Produktinspektionsprozess in der Abteilung Produktionstechnik verantwortlich ist. Die Hauptaufgabe des Inspektionsprozesses der Produktionstechnologie, die in der Softwareindustrie nicht bekannt ist, besteht darin, das Inspektionsprotokoll für eine stabile Produktion von Produkten zusätzlich zum Hardware- und Inspektionssoftwaredesign der Geräte, die das Produkt inspizieren, zu analysieren. Wir werden Maßnahmen gegen Probleme ergreifen. Das direkte Stoppen des Inspektionsprozesses führt zu einer Verschlechterung der Produktivität, sodass eine frühzeitige Lösung erforderlich ist.

Bisher besteht die Gegenmaßnahme gegen Probleme darin, das Inspektionsprotokoll (CSV) in Excel zu öffnen, die Elemente zu filtern und zu analysieren, für die die Inspektion NG ist, und der Sachbearbeiter sammelt wöchentliche Daten in Excel VBA, um Zeichen zu verwalten. Es war das. Die Arbeitszeit ist natürlich lang und alles andere als eine frühe Lösung.

Daher möchten wir die Arbeitseffizienz und Produktivität durch den Einsatz von Elastic Stack verbessern.

Zielgruppe

Dieser Artikel richtet sich an Personen, die Elastic Stack noch nicht kennen und darüber nachdenken, ihn auszuprobieren.

Inhalt dieses Artikels

Dieser Artikel ist nur der Touch-Teil. Lassen Sie uns darüber sprechen, was ein elastischer Stapel ist.

Ich möchte in zukünftigen Artikeln vorstellen, wie die beim Starten mit Docker-Compose erforderliche Einstellungsdatei geschrieben wird, wie das Datum wie die japanische Zeit analysiert wird, wie mit der CSV-Datei umgegangen wird usw.

Zunächst einmal, was ich konkret getan habe

Durch Extrahieren des Datums und des Prüfergebnisses aus dem Prüfprotokoll (sample.csv) und Verknüpfen des Datums mit dem Prüfergebnis für jede Zeile ist es möglich, es als Zeitreihendaten grafisch darzustellen.

`sample.csv`


Dummy,1
Date,2020/10/18,20:19:18　　<---Datum
ID,123456
Step,TestName,Value1,Judge　<---Unten das Prüfergebnis
10,Test1,130,OK
20,Test2,1321,OK
30,Test3,50,NG
40,Test4,13432,OK
55,Test5,15,NG
70,Test6,1,OK
100,Test7,1734,OK
120,Test8,54,OK
End　　　　　　　　　　　　　　　<---Dies ist das Testergebnis für einen
Dummy,2
Date,2020/10/19,12:30:50
ID,123457
Step,TestName,Value1,Judge
10,Test1,140,OK
20,Test2,1300,OK
30,Test3,50,NG
40,Test4,13431,OK
55,Test5,20,NG
70,Test6,1,OK
100,Test7,1733,OK
120,Test8,56,OK
End

Ich habe das Diagramm gerade entsprechend hinzugefügt, aber ich habe bestätigt, dass die erforderlichen Daten korrekt extrahiert wurden.

Was ist Elastic Stack?

Zuerst gibt es den sogenannten ELK-Stapel. Bis dahin können Sie anhand der offiziellen Website feststellen, ** E ** lasticsearch, ** L ** ogstash, ** K ** ibana ist eine Abkürzung für "ELK". Dies sind alles Open Source-Produkte von Elastic, die je nach Anwendung kombiniert werden können, um eine Protokollanalyse und -visualisierung zu ermöglichen. Und um flexibler reagieren zu können, wird Beats mit ELK Stack kombiniert und heißt Elastic Stack. Elasticsearch Eine verteilte Such- und Analyse-Engine, die Dokumente speichert und dem Index durchsuchbare Verweise auf Dokumente hinzufügt. Es wird für die Volltextsuche usw. verwendet, um nach Wörtern in Blog-Artikeln zu suchen. Offiziell ist die Suche schnell, da der Ausdruck "Elastische Suche ist schnell. Es ist sowieso schnell."

Logstash Es bietet einen Mechanismus zur Verarbeitung der Eingabedaten. Viele Verarbeitungsfilter sind vorbereitet, und es ist möglich, jedes Protokoll zu analysieren. Insbesondere gibt es verschiedene Filter wie den Grok-Filter zum Strukturieren unstrukturierter Daten und den CSV-Filter zum Zerlegen von CSV-Daten in jedes Feld. Die Liste der Filter ist hier.

Es werden auch verschiedene Arten von Ein- und Ausgabezielen unterstützt. Sie können Webprotokolle, Dateien wie CSV, Systemprotokolle usw. empfangen. Die Liste der unterstützten Eingaben lautet hier. Natürlich können Sie Elasticsearch als Ausgabeziel angeben, aber Sie können auch Mail, Slack, Dateien usw. auswählen. Die Liste der unterstützten Ausgabeziele lautet hier.

Logstash scheint häufig mit Fluentd, einem Tool zur Protokollsammlung, verglichen zu werden. Kibana Es ist ein Werkzeug, um die in Elasticsearch aggregierten Daten grafisch darzustellen. Es sind keine komplizierten Vorgänge erforderlich, und Diagramme können intuitiv erstellt werden. Sie können auch ein Dashboard erstellen. Wenn Sie die erforderlichen Diagramme auf dem Board hinzufügen, können Sie die Diagramme jederzeit problemlos überprüfen.

Ein weiteres wichtiges Merkmal sind Warnungen. Sie können einen Schwellenwert festlegen und E-Mails benachrichtigen und nachlassen, wenn der Schwellenwert überschritten wird. Es unterstützt auch die Zusammenarbeit mit PagerDuty. Dies ermöglicht das Incident Management.

Kibana scheint oft mit Grafana verglichen zu werden.

Beats Der diesmal verwendete Filebeat gehört zu einer Kategorie namens Beats, und Beats wird als leichter Datenversender bezeichnet. Dies dient zum Übertragen von Daten an Elasticsearch und Logstash. Neben Filebeat gibt es Metricbeat, Packetbeat, Winlogbeat, Audiobeat, Heartbeat und Functionbeat. Filebeat dient, wie der Name schon sagt, zum Übertragen von Protokolldateien.

Spezifischer Fluss mit Elastic Stack

Übertragen Sie die dem Ordner hinzugefügte CSV-Datei mit Filebeat nach Logstash, extrahieren Sie das Datum und das Prüfergebnis mit Logstash, speichern Sie die verarbeiteten Daten in Elasticsearch und zeichnen Sie sie mit Kibana grafisch auf.

Schließlich

Dieses Mal habe ich versucht, es zum ersten Mal mit Elastic Stack zu visualisieren. Ich habe nur die Funktionen vorgestellt, die ich tatsächlich verwendet habe, aber es scheint, dass es viele andere Funktionen gibt, die ich nicht kenne. Ich möchte von nun an verschiedene Dinge ausprobieren. In Zukunft möchte ich die Einstellungsdatei, die Datumsanalysemethode, die Behandlung von CSV-Dateien usw. vorstellen, die beim Starten mit Docker-Compose erforderlich sind.

Analysieren und Visualisieren von CSV-Protokollen mit Excel Elastic Stack (Docker-Compose) - Was ist Elastic Stack?