Aidemy 2020/10/29
Bonjour, c'est Yope! Bien que ce soit un système littéraire croustillant, j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Merci! Ceci est le troisième poste de l'apprentissage non supervisé. Ravi de vous rencontrer.
Quoi apprendre cette fois ・ À propos de l'analyse des composants principaux ・ À propos de l'analyse des composants principaux du noyau
-__ L'analyse en composantes principales __ est l'une des méthodes pour représenter les données d'origine à partir des plus petites données , c'est-à-dire pour résumer (compresser) les données. ・ Lors de l'analyse des composantes principales, __ "axe qui peut expliquer efficacement toutes les données (premier axe de la composante principale)" __ et __ "axes qui peuvent expliquer efficacement les données qui ne peuvent pas être expliquées par elles-mêmes (deuxième axe principal) Axe du composant) ” est créé. -En utilisant uniquement le premier composant principal de ces __, les données supplémentaires peuvent être supprimées et les données peuvent être compressées. -Si vous utilisez l'analyse des composants principaux, vous pouvez également réduire __ dimensions, de sorte que vous pouvez déposer les données en deux ou trois dimensions et les visualiser, ou les utiliser pour l'analyse de régression.
① Les données X sont standardisées. (2) Calculez la __ matrice de corrélation __ entre les caractéristiques. (3) Trouvez la __ valeur unique et le vecteur propre __ de la matrice de corrélation. (4) Sélectionnez k (k = nombre de dimensions à compresser) dans celui avec la plus grande valeur propre, et sélectionnez le vecteur propre correspondant. ⑤ Créez la matrice de conversion feature W à partir des k vecteurs propres sélectionnés. (6) Calculer le produit des données X et de la matrice W, et obtenir les données X 'converties en k-dimensions. (Fin)
-La normalisation consiste à convertir chaque caractéristique de __ données de sorte que la moyenne soit de 0 et la variance de 1. -En normalisant, les données avec différentes unités et normes peuvent être traitées de la même manière.
-La normalisation est effectuée comme suit. (Différence entre les données et la moyenne) ÷ écart type X = (X - X.mean(axis=0))/X.std(axis=0)
-__ La matrice de corrélation__ est une matrice dans laquelle k × k coefficients de corrélation entre chaque donnée d'entité sont collectés. __ Le coefficient de corrélation __ représente la force de la relation linéaire entre __2 données, et plus il est proche de 1, plus la tendance de a à être une fonction linéaire positive est forte, c'est-à-dire __ corrélation positive On peut dire que _ est fort, et plus il est proche de -1, plus la tendance d'une fonction du premier ordre à être négative est forte, c'est-à-dire plus forte est la __ corrélation négative __. ・ Lorsque le coefficient de corrélation est proche de 0, cela indique qu'il n'y a pas beaucoup de tendance linéaire.
-Le calcul de la matrice de corrélation R est effectué comme suit. R = np.corrcoef(X.T)
-Les données transférées X.T sont passées à np.corrcoef (), qui exécute la matrice de corrélation, car si elle est passée en tant que X, la matrice de corrélation des données elles-mêmes (lignes) sera calculée. Est. Cette fois, je veux calculer la matrice de corrélation de __ "données caractéristiques (colonnes)", donc dans un tel cas, il faut la transposer.
-La matrice de corrélation R obtenue en (2) est décomposée en __ valeur unique __ et __ vecteur unique __ lorsque __ décomposition en valeur propre __ est effectuée. Chacun de ces deux est décomposé par le même nombre de dimensions que la matrice. -Le vecteur propre indique que l'information est concentrée dans cette direction dans la __matrix R, et la valeur propre indique le degré de concentration __.
-La décomposition des valeurs propres peut être obtenue comme suit. Les valeurs propres sont stockées dans la variable eigvals, et les vecteurs propres sont stockés dans eigvecs dans l'ordre croissant. eigvals, eigvecs = np.linalg.eigh(R)
-Ici, nous allons examiner la procédure de conversion de la dimension des données en une dimension k arbitraire. -Convertir en utilisant k des plus grandes valeurs propres décomposées en ③ (④). Plus précisément, la matrice de conversion feature W est créée en concaténant les vecteurs propres correspondant à chacune de ces k valeurs propres (⑤). Enfin, en multipliant ce W par les données X, les données X 'converties en k dimension peuvent être obtenues (⑥).
-La méthode de création de la matrice de conversion W est la suivante. (Si vous souhaitez convertir en 2D) W = np.c[eigvecs[:,-1],eigvecs[:,-2]]_
-Le produit de X et W étant un "produit matriciel", il est calculé par __X.dot (W) __.
-L'analyse des composants principaux peut être effectuée par les étapes (1) à (6) ci-dessus, mais l'analyse des composants principaux peut être facilement effectuée en utilisant la classe scikit-learn appelée PCA.
・ Code
・ Code 2 (combinez 3 types de données sur le vin en 2 dimensions)
・ Résultat
-Avant d'effectuer une analyse de régression à l'aide de LogisticRegression (), il est possible de créer un modèle plus polyvalent en effectuant une analyse des composants principaux et en compressant les données.
-Dans ce qui suit, la standardisation et l'analyse des composants principaux seront effectuées pour X_train et X_test, qui sont des données divisées. Utilisez la classe "StandardScaler" pour la normalisation et la classe PCA pour l'analyse des composants principaux. De plus, les données d'entraînement et les données de test sont traitées selon une norme commune. -Comme il est nécessaire de former les données de train, utilisez "fit_transform ()" et utilisez "transform ()" comme c'est le cas pour les données de test.
・ Code
・ L'apprentissage automatique tel que l'analyse de régression est basé sur la séparation linéaire, donc la séparation linéaire n'est pas possible. Les données ne peuvent pas être gérées, mais ces données peuvent être gérées à l'aide de __Kernel Principal Principle Analysis (Kernel PCA) __, qui convertit les données de séparation non linéaires en données linéarisables. .. -Dans le noyau PCA, les données N (nombre de données) x M (fonctionnalité) données sont recréées dans N x M'data K avec une nouvelle fonctionnalité M '. Cela s'appelle __Kernel Trick __ et K s'appelle __Kernel Matrix __. -Cette matrice de noyau K permet l'analyse des composants principaux.
-Pour effectuer une astuce du noyau, vous devez d'abord calculer la matrice du noyau K. Si les données d'origine sont N (nombre de données) x M (caractéristique), K est N x N. -La matrice du noyau est une matrice de la fonction __kernel __ qui calcule la "similarité pour chaque paire de données". -Il existe plusieurs types de cette fonction du noyau, mais cette fois nous allons regarder Gaussian kernel, qui est la fonction de base radiale (noyau). -Une des fonctions du noyau Le noyau gaussien peut être calculé comme suit.
#Calculer la distance euclidienne carrée entre les données
M = np.sum((X - X[:,np.newaxis])**2, axis=2)
#Calculer la matrice du noyau en utilisant M
K = np.exp(-gamma*M)
-Comme mentionné ci-dessus, la matrice de noyau K obtenue en exécutant l'astuce du noyau peut effectuer une analyse en composantes principales. -En effectuant une analyse en composantes principales, il est possible de convertir les données X, qui étaient initialement non linéairement séparables, en données linéairement séparables X '.
・ Code
・ Résultat
-Vous pouvez facilement effectuer une analyse des composants principaux du noyau en utilisant la classe scikit-learn appelée KernelPCA. -Pour les arguments, n_components indique le nombre de dimensions après compression, le noyau indique la fonction de base radiale (noyau) et gamma indique la valeur de "γ" utilisée pour calculer la matrice du noyau.
from sklearn.decomposition import KernelPCA
#Créer une instance KernelPCA et analyser les principaux composants
kpca = KernelPCA(n_components=2, kernel="rbf", gamma=15)
X_kpca = kpca.fit_transform(X)
-En compressant les données (__ réduction de dimension __) par __ analyse des composants principaux __, il est possible de dessiner sur un plan et d'améliorer la précision de l'analyse de régression. -L'analyse des composants principaux peut être facilement effectuée en appelant la classe __PCA __. -En convertissant les données à l'aide de la fonction de base radiale (noyau), il est possible d'effectuer une analyse en composantes principales sur des données qui ne peuvent pas être séparées linéairement. En conséquence, __ les données linéairement séparables deviennent linéairement séparables __ et l'apprentissage automatique devient possible. Cela s'appelle __ analyse des composants principaux du noyau __. -L'analyse des composants principaux du noyau peut être facilement effectuée en appelant la classe __KernelPCA __.
Cette fois, c'est fini. Merci d'avoir lu jusqu'au bout.