Ces dernières années, l'environnement entourant le ** Big Data ** a récemment été particulièrement axé sur l'évolution spectaculaire et son potentiel, ainsi que sur des technologies telles que le ** Machine Learning ** et ** AI ** pour la résolution de nouveaux problèmes et la création de valeur. N'est-ce pas une graine? Dans cette partie, avec l'évolution de la société de réseau, elle est devenue un grand marché. Dans le monde qui entoure les données jusqu'à présent, elles sont plus affectées par les performances et l'environnement de l'appareil que la valeur d'origine des données, et elles sont traitées aussi petites que possible pour stocker efficacement les données, et leur réutilisation est également effectuée dans ces processus. Comment les informations supprimées peuvent-elles être déduites et reproduites avec une validité raisonnable? De nombreuses ressources humaines et d'excellentes théories et techniques ont été développées. Bien sûr, les données en tant que résultat solennel parlent éloquemment avant tout, donc sur la base de ces données, (1) exécutez les procédures prescrites, (2) vérifiez la validité de la construction temporaire, et (3) La plupart du temps, «en commençant par attendre le résultat du traitement des données» ** pour créer le coup suivant et (4) collecter les données suivantes en l'implémentant. Ensuite, sur une plate-forme polyvalente, qui peut observer le processus de création de la forme finale de données ** en direct (pas de supposition) ** et peut réagir rapidement aux changements de l'environnement tels que les entreprises. Mais que se passe-t-il quand il devient disponible? Et que se passe-t-il ensuite si cela vous permet de tirer pleinement parti du potentiel caché et de la valeur que les données avaient à l'origine? ・・・ Je voudrais à nouveau présenter la situation dans ce domaine, mais à la hâte, divers big data indispensables à l'environnement peuvent être traités à grande vitesse et avec une grande efficacité ** en direct (réflexion de l'utilisateur et travail original Je vais continuer à expliquer comment construire un environnement qui peut être visualisé et analysé avec (ne pas s'arrêter) **.

(1) Préparation de l'environnement

Cette fois, ** Hortonworks ** utilisera Sandbox, qui est ouvert au public, pour établir un lien avec ** Zoomdata **. Sélectionnez le ** Démarrer ** orange dans la partie supérieure droite de la page d'accueil et accédez à ** Page affichée ** Si vous sélectionnez ** Télécharger SANDBOX **, une liste d'images virtuelles cibles apparaîtra (au moment de la rédaction), alors téléchargez la version 2.6 cette fois. À ce moment-là, l'écran de saisie des éléments requis apparaîtra, veuillez donc enregistrer chaque information avec précision et obtenir l'environnement. Après le téléchargement, si l'installation réussit dans l'environnement virtuel, chaque service démarre et l'écran de la console s'affiche.

La méthode d'accès à la console de gestion via le Web sera affichée à l'écran, essayez donc de saisir l'adresse dans le navigateur.

Sélectionnez ** LANCER LE TABLEAU DE BORD ** sur le côté gauche de l'écran, entrez votre identifiant et votre mot de passe, et vous devriez voir le tableau de bord.

Juste au cas où, lorsque je vérifie s'il existe des données pouvant être utilisées pour la vérification, il semble qu'il y ait des tables intéressantes, alors lors de la création d'un tableau de bord après la connexion, laissez-moi utiliser ces données Je vais l'avoir.

(2) Réglage de la connexion avec Zoomdata

Tout d'abord, entrez dans la page habituelle ** Sources ** avec ** admin **. Cette fois, nous allons essayer de nous connecter en utilisant ** Hive On Tez **, alors sélectionnez cette icône.

Comme d'habitude, saisissez les informations requises et sélectionnez ** Suivant ** en bas à droite de l'écran.

Les paramètres cette fois sont les suivants.

Connection Name : Hortonworks Hive On Tez JdbcUrl : jdbc:hive2://xxxx.xxxx.xxxx.xxxx:10000/default Où xxx.xxx.xxx.xxx est l'adresse de la machine virtuelle sur laquelle s'exécute Sandbox.

Une fois les paramètres définis, sélectionnez ** Valider ** et attendez un moment.

(3) Vérification de la connexion et création du tableau de bord

Une fois connecté avec succès, vous pourrez sélectionner les tableaux de données disponibles, donc cette fois je voudrais créer un tableau de bord en utilisant ** Store **.

En ce qui concerne les paramètres suivants, je ne jouerai pas avec cette fois-ci, veuillez donc continuer avec ** crisp ** et passer à la page d'accueil ** Zoom data **. Il y a un affichage ** + Nouveau ** dans le coin supérieur gauche de l'écran, veuillez donc le sélectionner. Plusieurs menus apparaîtront. Sélectionnez l'élément ** Chart & Dashboard ** et sélectionnez le jeu ** Hive On Tez ** cette fois dans le menu de la source de données connectée.

Puisque les graphiques disponibles apparaîtront, sélectionnez ** Bars: Multiple Metrics ** pour le moment et cochez tous les éléments qui peuvent être affichés. (** Volume ** est supprimé pour plus de clarté)

La vérification de la connexion est terminée lorsque le graphique à barres des 5 éléments définis est affiché.

De même, créons un tableau de visualisation pour les informations disponibles et créons un ** "Nanchatte Dashboard" ** en utilisant les méthodes que nous avons introduites jusqu'à présent.

Enregistrez le tableau de bord terminé afin qu'il puisse être réutilisé la prochaine fois.

Il a été sauvé en toute sécurité.

(4) Résumé de cette heure

En passant, cette fois, nous avons effectué une vérification de connexion à l'aide de ** Hive On Tez **, mais fondamentalement, si le côté source de données est fermement construit, il est plus facile que prévu de visualiser et d'analyser les ** big data **. J'espère que vous comprenez que vous pouvez le faire. À partir de la prochaine fois, nous continuerons à vérifier certaines connexions à la solution et à introduire des informations connexes les concernant. Merci de votre coopération.

(5) Merci

Concernant la création de cet article, nous avons utilisé Sandbox, qui est publié par ** Hortonworks **, comme moteur de la source de Big Data. Nous aimerions profiter de cette occasion pour vous remercier beaucoup

(6) À part ... (?)

Dans l'article précédent, j'ai présenté ** Fusion ** qui peut être traitée comme s'il s'agissait d'une seule source de données en définissant une clé commune entre différentes sources de données. Par conséquent, alors que nous procédions à la vérification de la connexion d'une série de solutions de ** big data ** cette fois, il y avait une table avec la même configuration dans les données de test préparées à l'avance, donc ** "différents big data" utilisant ces données Je voudrais vérifier "fusion entre solutions" **. (Cette fois, nous utiliserons ** sample_07 ** et ** sample_08 ** pour vérifier avec la combinaison de ** Cloudera Impala ** et ** Hortonworks Hive On Tez **)

Nous définirons le connecteur pour ** Fusion **, mais la procédure est la même que celle introduite jusqu'à présent, donc une explication détaillée sera omise ici. Veuillez noter que dans le cas d'un réglage ** fusion ** entre ** big data **, veuillez définir le paramètre en anglais en raison des spécifications.

La définition de ** Fusion ** cette fois est la suivante en utilisant ** code ** qui est commun aux deux parties.

Après cela, si vous continuez avec tout tel quel, je pense que cette ** fusion ** sera enregistrée sur la page ** Sources **, veuillez donc cliquer sur ** + Nouveau graphique et tableau de bord ** en haut à gauche de l'écran. Sélectionnez-le et créez un graphique avec ** Bars: Multiple Metrics **.

Le nombre maximum de données à afficher est affiché dans le coin supérieur gauche du graphique, alors sélectionnez ce nombre et modifiez la valeur maximum via le popup. (Changé de 20 à 100 cette fois)

** Impala ** et ** en extrayant des données de deux sources ** big data ** différentes et en définissant des paramètres à afficher sur le même graphique en fonction des informations communes clés Nous avons pu vérifier que le graphique a été créé en accédant à l'aide de ** microquery ** via Hive On Tez **.

Je pense que l'utilisation de la ** fusion ** entre différentes sources de ** big data ** peut fournir des idées d'utilisation des données innovantes et des opportunités pour la résolution de nouveaux problèmes, j'espère donc que vous en profiterez.