[JAVA] Versuchen wir es mit Zoomdata (Big Data: 1)

Letztes Mal habe ich die Funktion ** Fusion ** eingeführt, die mehrere Datenquellen als eine verarbeiten kann. Durch die bestmögliche Nutzung der ** Mikroabfrage ** und den transparenten Umgang mit wertvollen Datenquellen, die im Netzwerk als eine Datenquelle verstreut sind, werden Wert und Potenzial der Daten weiter verbessert. Ich hoffe, Sie verstehen, dass die Idee des Mechanismus selbst in Bezug auf Datenquellen in eine effizientere und flexiblere Richtung entwickelt werden kann.

Ab diesem Zeitpunkt möchte ich nun die Zusammenarbeit mit ** Big Data ** vorstellen, die die wahre Essenz von ** Zoomdata ** darstellt.

Artikel wie Zoomdata und Hadoop (Hive on Tez) Cooperation (Azure Edition) von ** Kitase ** wurden bereits veröffentlicht. Es mag also einige Leute geben, die die Zusammenarbeit tatsächlich überprüft haben, aber dieses Mal werden wir die bekannte ** Big Data-Lösung ** verwenden, die für die Öffentlichkeit zugänglich ist, und jede Sandbox im virtuellen Raum verwenden. Daher möchte ich das grundlegende Einstellungsverfahren usw. beim lokalen Verknüpfen mit Zoomdata erläutern.

(1) Bereiten Sie zuerst die Umgebung vor

In Bezug auf die ** Big Data ** -Umgebung besteht eine Beziehung, dass diese Reihe von Arbeiten in der virtuellen Umgebung ausgeführt wird. Daher möchte ich mit der Arbeit in Richtung der Verwendung des erstellten virtuellen Images namens Sandbox fortfahren. Ich werde. Wenn Sie mit einer Suchmaschine suchen, erhalten Sie bald Informationen zu einigen Testumgebungen, diesmal jedoch zum ersten Mal ** Cloudera ** Ich werde die von der Firma bereitgestellte Sandbox verwenden und versuchen, die Verbindung mit ** Zoomdaten ** zu überprüfen.

Wählen Sie ** Download ** von Cloudera Homepage und wählen Sie ** [JETZT HERUNTERLADEN](https: //www.cloudera.) Unter ** Schnellstarts **. Wenn Sie com / downloads / quickstart_vms / 5-12.html) ** auswählen, können Sie den Download des aktuell verteilten virtuellen Images (zum Zeitpunkt des Schreibens) registrieren. Geben Sie daher ** die angegebenen Informationen genau an. Bitte registrieren Sie sich ** und erhalten Sie das gewünschte virtuelle Bild. Zusätzlich zu ** Zoomdata ** wird ab diesem Zeitpunkt Speicherplatz für eine Big-Data-Umgebung für die Verbindungsüberprüfung und die erforderlichen CPU-Ressourcen benötigt, sodass die Betriebshardware je nach Fall getrennt werden kann. Möglicherweise müssen Maßnahmen ergriffen werden, z. B. eine Erhöhung (Anpassung an die Konsistenz des Netzwerks usw.). Bitte bauen Sie jedoch jede Umgebung auf eigenes Risiko auf. Darüber hinaus würden wir uns freuen, wenn Sie keine diesbezüglichen Anfragen an Cloudera richten könnten.

Wenn der Download erfolgreich abgeschlossen wurde und der Start erfolgreich war, wird der Desktop-Bildschirm angezeigt. (Hinweis: Obwohl der Bildschirm ins Japanische übersetzt wurde (ich habe ihn nur für mein persönliches Interesse festgelegt ...), ist die ursprüngliche Umgebung die englische Version. Natürlich kann sie auch in der englischen Umgebung problemlos überprüft werden, so wie sie ist Fahren Sie bitte fort

Stellen Sie zunächst die Verifizierungsdaten ein. Oben im Browser befindet sich eine Anzeige ** Farbton **. Bitte wählen Sie diese aus. Die Anzeige ändert sich und die Arbeit von ** Schritt 1 ** beginnt, aber nach einer Weile wird der Überprüfungsinhalt der Umgebung auf dem Bildschirm angezeigt.

Wählen Sie dann ** Beispiele ** in ** Schritt 2 **.

Wählen Sie die Daten aus, die für diese Überprüfung verwendet werden sollen. Dieses Mal denke ich, dass ich die Verbindung zwischen ** Impala ** und ** Solr Search **, einem Suchsystem, überprüfen werde. Wählen Sie sie aus und installieren Sie sie der Reihe nach.

Überprüfen Sie die Datengenerierung für alle Fälle. Wählen Sie das Symbol ** Startseite ** (Eigene Dateien) oben im Browserbildschirm.

Sie können bestätigen, dass die Überprüfungsdaten erfolgreich eingerichtet wurden. Überprüfen Sie daher auch die IP-Adresse der virtuellen Maschine.

(2) Verbindung mit Zoomdaten

Nachdem die Seite mit den großen Datenquellen fertig ist, möchte ich mit dem Aufbau der Verbindung mit ** Zoomdata ** beginnen. Geben Sie zuerst mit ** admin ** ein, wählen Sie das Zahnradsymbol oben auf dem Konsolenbildschirm und wählen Sie ** Quellen **.

Wählen Sie dann das Symbol ** Cloudera Impala **.

Stellen Sie die gewünschten Elemente ein und wählen Sie unten links ** Weiter ** aus.

Wählen Sie eine neue Anschlusseinstellung und stellen Sie die erforderlichen Parameter ein. Legen Sie für jeden Connector einen eindeutigen Namen fest und geben Sie die Informationen ** JdbcUrl ** wie folgt ein.

jdbc:hive2://xxx.xxx.xxx.xxx:21050/;auth=noSasl

Stellen Sie für ** xxx.xxx.xxx.xxx ** die zuvor bestätigte IP-Adresse ein, und die Portnummer wird von jeder Datenquelle vordefiniert. Verwenden Sie diese Nummern also grundsätzlich so, wie sie sind. Sie können andere Elemente unverändert lassen. (Informationen zu diesem Bereich finden Sie im Dokument des Anbieters.)

Nachdem Sie die Grundeinstellungen vorgenommen haben, wählen Sie ** Validieren ** und die Verbindung wird überprüft. Warten Sie also eine Weile.

Wenn das grüne Popup, das den Verbindungsabschluss belegt, oben auf dem Bildschirm angezeigt wird, wird die Verbindungseinstellung mit der Datenquelle erfolgreich abgeschlossen. Wählen Sie als Nächstes die zu verarbeitenden Daten aus. Wählen Sie unten rechts auf dem Bildschirm ** Weiter **.

Es wird einige voreingestellte Beispiele geben, daher werde ich dieses Mal ** web_logs ** auswählen, das die meisten Datenelemente zu haben scheint.

Details zu den einzelnen Daten werden angezeigt. Wählen Sie daher unten rechts ** Weiter ** aus. Diesmal bedeutet dies, dass Sie es schnell ausprobieren müssen. Fahren Sie daher grundsätzlich so fort, wie es für die nachfolgenden Bildschirme gilt. Um die Daten jedoch mit ** Zeitleiste ** zu verknüpfen, ändern Sie bitte einige der Attribute der zuvor erläuterten Datenelemente. (Ändern Sie insbesondere das Attribut ** Tag ** in ** ZEIT **, ersetzen Sie die benutzerdefinierte Einstellung durch ** JJJJ-MM-TT ** und setzen Sie das nächste Element auf ** TAG **. Es ist in Ordnung, wenn Sie es verlassen

Sobald die ** Tag ** -Attributänderungen erfolgreich abgeschlossen wurden und die allgemeinen Parametereinstellungen abgeschlossen wurden, kann die ** Zoomdaten ** -Seite mit ihrer bevorzugten Mikroabfrage auf ** Impala ** zugreifen.

(3) Erstellen Sie ein Dashboard und überprüfen Sie die Verbindung

Erstellen wir nun ein einfaches Dashboard, um die Verbindung zu überprüfen. Das Verfahren ist das gleiche wie zuvor, daher werden wir ** schnell ** fortfahren.

Wählen Sie ** Cloudera Impala ** und stellen Sie diese Zeit unter "Dashboard erstellen" über das Symbol oben links ein.

Da die verfügbaren Diagramme angezeigt werden, wählen Sie ** Balken ** und setzen Sie ** Gruppe ** am unteren Rand des Diagramms auf ** Stadt **.

Schieben Sie die ** Zeitleiste ** am unteren Rand des Diagramms, um festzustellen, ob die Anzeigen synchronisiert sind. Als nächstes erstellen wir ein ** Donut-Diagramm **. Die Vorgehensweise ist immer noch dieselbe, daher werden wir hier nur den Ablauf vorstellen.

Für die Anzeigedaten von ** Donut Chart ** gab es eine Verwendungsrate von ** OS ** im Datenelement, daher habe ich sie in ** Gruppe ** ausgewählt.

Zum Schluss möchte ich das Dashboard speichern, das ich dieses Mal erstellt habe. Ändern Sie bei Bedarf jeden Diagrammtitel und Dashboard-Titel (wie üblich ist es ein "ungezogener Titel" ...), wählen Sie dann oben rechts auf dem Konsolenbildschirm ** Speichern ** aus und geben Sie die erforderlichen Informationen ein. Wenn Sie danach unten rechts im Popup ** Speichern ** auswählen, wird es auf dem Startbildschirm der Konsole angezeigt, sodass Sie ab dem nächsten Mal von hier aus beginnen können.

(4) Zusammenfassung dieser Zeit

Dieses Mal haben wir die Zusammenarbeit zwischen ** Big Data ** und ** Zoom-Daten ** anhand einer virtuellen Umgebung anhand von ** Cloudera Impala ** als Beispiel überprüft. Sie können sehen, dass die Verbindung zu einer gut aufgebauten Big-Data-Umgebung tatsächlich sehr einfach ist (in dieser Hinsicht ebenso wie bei jeder kommenden ** Big-Data-Lösung **). Da es sich um eine Verifizierungsumgebung handelt, gibt es natürlich eine Einschränkung, dass sie nicht groß ist, aber natürlich für jede Lösung, die ** Skalierung **, ** Mikroabfrage ** Verbindung und ** In-Memory-Technologie * voraussetzt. * Eine effiziente und schnelle Verbindung kann realisiert werden , so dass selbst in einer riesigen " echten Big Data **" - Umgebung ** eine einfache und flexible Verwendung und Bedienung realisiert werden kann * * Es wird möglich sein.

Das nächste Mal möchte ich mich mit ** Solr ** verbinden, wodurch ich zu Beginn das Vorhandensein von Demo-Daten in den Einstellungen bestätigen konnte.

(5) Danke

In Bezug auf die Erstellung dieses Artikels haben wir Sandbox, die von ** Cloudera ** für die Öffentlichkeit zugänglich ist, als Engine für die Big-Data-Quelle verwendet. Wir möchten diese Gelegenheit nutzen, um Ihnen vielmals zu danken.