Pokémon avec peu d'informations	Pokémon avec beaucoup d'informations

L'IA ne se sent-elle pas «comme Digimon» simplement parce que la conception est compliquée? ??

La figure ci-dessous montre la quantité d'informations et la tendance du taux d'erreurs de classification pour chacun des Pokémon et Digimon. (La ligne rouge est la droite de régression où la régression logistique a été effectuée par sns.regplot)

Plus la conception de Pokemon est complexe, plus le taux d'erreurs de classification de Digimon a tendance à être élevé.

D'autre part, plus la conception de Digimon est simple, plus le taux d'erreurs de classification pour Pokemon est élevé.

Cependant, ** la quantité d'informations semble être l'un des facteurs qui la rendent unique à Digimon, mais il semble que ce ne soit pas le seul facteur décisif. ** **

Où cherchait l'IA? Visualisation # 1. Visualisation des zones de contribution par Grad-CAM

Les pages suivantes sont enrichies pour la visualisation de CNN! !! !! https://github.com/utkuozbulak/pytorch-cnn-visualizations

Le modèle utilisé pour la classification est finalement converti en 4096 entités en le pliant en 5 couches, il est donc difficile pour l'œil humain de savoir ce qui contribue au résultat de la classification, En utilisant une méthode appelée ** Grad-Cam **, il devient facile pour les humains de reconnaître dans une certaine mesure.

Par exemple, dans l'image ci-dessous, la zone de l'image qui a contribué à être classée comme "chien" peut être visualisée.

Voici le résultat de l'utilisation de GradCAM pour les images Pokemon.

Domaines de contribution au classement «Digimon»	Domaines de contribution au classement «Pokémon»

Je comprends que les yeux de Fushigidane contribuent à la classification Digimon, tout en contribuant à la classification Pokemon sur un large éventail d'autres domaines, mais je ne sais pas quel genre de fonctionnalités je vois à partir de cela seul, alors j'ai conçu comme suit. ..

Ingéniosité: faites une chimère de Pokemon et Digimon qui ressemble à Pokemon dans la même mesure et Grad-CAM

Il s'agit de Pikachu, un Pokémon classé comme 100% Pokémon, ** En dépit d'être un Digimon, c'est un Terimon qui a été mal classé comme Pokémon 2000 fois sur 2000 **

Pikachu(Pokémon) Pokémonらしさ100%	Terimon(Digimon) Pokémonらしさ100%

Pikachu et Terimon créent quatre types d'images de chimères Pokemon Digimon comme suit, avec des images avec un taux de classification de 100% pour Pokemon.

Exemple de visualisation avec image chimère

Par exemple, dans l'image ci-dessous, quatre types d'images de chimères, Pokemon Subame (en haut à droite) et Digimon Popomon (en bas à droite), ont été créés, et la zone de contribution à la classification Pokemon et la zone de contribution Digimon ont été acquises par Grad-CAM, respectivement. y a-t-il. Cette combinaison de Pokemon et Digimon correspond à ceux qui sont les plus proches les uns des autres, les taux de classification pour Pokemon étant de 64,25% et 63,93%, respectivement.

Des résultats Grad-CAM de 8 images de chimères ** Les quatre à gauche représentent la zone de contribution à la classification Digimon, et les quatre à droite représentent la zone de contribution à la classification Pokémon. ** ** En regardant les résultats des huit images de chimères de cette manière, on peut voir que la contribution à la classification digimon dans la partie ** yeux d'hirondelle ** est plus élevée que dans la zone de popomon, qui est un vrai digimon (en bas à gauche de la figure).

De cette façon, en combinant Pokemon et Digimon qui sont également classés comme Pokemon, ** ce ne sera pas trop Digimon ou trop Pokémon que de le faire avec une seule image, et la zone de contribution après l'application de GradCAM C'est devenu plus facile à voir. ** **

Où cherchait l'IA? Visualisation # 2. Visualisation des filtres et extraction de la couche intermédiaire

La visualisation du filtre est la suivante. L'IA semble traiter en voyant comment ces structures existent et sont disposées dans l'image.

Les structures qui répondent bien aux filtres ci-dessus sont les suivantes.

Le filtre de gauche répond bien aux fines déchirures telles que les griffes, les plumes et les cheveux, et le filtre de droite répond bien aux structures rondes telles que les yeux.

Il a été défini comme ** «filtre de contribution de classification Pokemon» et «filtre de contribution de classification Digimon» ** selon lequel de Pokemon et Digimon est le plus facile à classer.

J'ai utilisé cnn_layer_visualization.py du github d'Utku Ozbulak. https://github.com/utkuozbulak/pytorch-cnn-visualizations Visualisation et extraction de la sortie de la couche intermédiaire pour le 512ème canal de filtre du 24ème filtre du réseau VGG19.

La façon d'obtenir la sortie de la couche intermédiaire dans pytorch est possible en modifiant l'avant comme suit

 def forward(self,x,target = 24):
     results = []
     for i,model in enumerate(self.features):
         x = model(x)
         if i == target:#Obtenez la sortie de la couche intermédiaire ici
             results.append(x)
     x = self.net.avgpool(x)
     x = torch.flatten(x)
     for i,model in enumerate(self.classifiers):
         x = model(x)
         if ii == 6: #Obtenez également la sortie finale
             results.append(x)
     return results

Exemple de code pour obtenir la zone autour de la zone la plus réactive au filtre à partir de la sortie de la couche intermédiaire

"""
La 24ème couche que j'ai utilisée a une largeur de 28$\times$28, l'image d'origine est 224$\times$Parce que c'est 224
8 par cellule$\times$Vous serez en charge de 8 domaines,
Dans ce code, afin de faciliter la compréhension de la structure de l'image, 4 pixels supplémentaires sont acquis pour la largeur et la hauteur.
"""


#Lecture du résultat de sortie de la couche intermédiaire
temp_df = pd.read_csv(layer_filename)

#Np de l'image d'origine.création de tableau
img_array = np.array(img_orig)

#28*Obtenir l'index lorsque 28 est aplati
target_index = int(list(temp_df.loc[filter_num].sort_values(ascending=False).index)[0]) 

row = target_index//28
col = target_index%28
row_min = max(0,row*8 - 4)
row_max = min(row*8+12,224)
col_min = max(0,col*8 - 4)
col_max = min(col*8+12,224)


#Si la zone cible est trop blanche, ne l'obtenez pas
image_test = img_array[row*8:min(row*8+8,224),col*8:min(col*8+8,224)][:,:,:3]
white_area_per = np.where(image_test.reshape(-1,3)==[255,255,255],True,False)[:,0].sum()\
                        /image_test.reshape(-1,3).shape[0]
if white_area_per < 0.95:

    #Valeur de sortie du filtre
    attribute_value = temp_df.loc[filter_num,str(target_index)]
    #Extraction de site
    image_array_part = img_array[row_min:row_max,col_min:col_max]
    #Créer une image avec PIL
    image_part = Image.fromarray(image_array_part).resize((64,64))

Seules les images de filtre significatives dans le résultat de la classification ont été téléchargées sur le github suivant https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/hidden_layer

Filtre de contribution à la classification Pokémon

Les éléments qui ne peuvent pas être publiés ici ont été téléchargés sur le github suivant https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/feature

Sur les 512, 40 types de filtres ont fonctionné de manière significative pour le jugement Pokemon. En voici quelques-unes faciles à interpréter. L'image de gauche est une visualisation du filtre VGG et l'image de droite est le top 100 des parties qui ont répondu à ce filtre. (Chaque numéro est pour ma gestion) Contour vertical ・

―― 12. Griffes, ailes, etc.

--74. Ailes, sensation tactile, etc.

--85. Structure courbe

--214. Peinture

--327. Contour (courbe longitudinale)

Filtre de contribution à la classification Digimon

Il existe 43 types de filtres qui ont contribué de manière significative à la classification Digimon. Je pense qu'il y avait de nombreux filtres plus faciles à interpréter que les filtres de contribution à la classification Pokemon.

―― 11. Saturation

--91. Yeux ronds

--136 brillant

--236. Couleur métallique

--160 épines épineuses

--271. Griffes

--307. Cheveux

Résumé des différences de caractéristiques entre Pokemon et Digimon

Expression épineuse des griffes, du kiba et des cheveux

• Les griffes, le kiba et les épines de cheveux de Digimon

• Griffes de Pokémon, kiba et épines de cheveux

• Les griffes de Pokémon, le kiba et les éclats de cheveux qui ont été confondus avec Digimon

Fondamentalement, l'expression des épines des griffes, du kiba et des cheveux de Pokémon est souvent exprimée en zigzag rugueux. D'autre part, Digimon est caractérisé par la netteté, la densité et les ombres sombres.

Pour l'IA, le premier Pokémon en or et en argent semblait avoir des expressions relativement modestes d'épines, de kiba et de cheveux. Certes, même dans le premier Pokémon, les épines et les abeilles des oiseaux aux épines acérées. Les Pokémon avec des manteaux plus fins étaient plus susceptibles d'être mal classés comme Digimon.

Expression des yeux

• Les yeux de Digimon

• Les yeux de Pokémon

• Les yeux de Pokémon incompris comme Digimon

** Les yeux surlignés ont une forte probabilité de manger le jugement Digimon. ** ** ** Il semble que la façon de dessiner les yeux a changé en particulier à partir de la 4ème génération **, ce qui peut être la raison pour laquelle le taux d'erreurs de classification des Pokémon de 4ème génération est élevé. D'un autre côté, les yeux sensibles au jugement Pokémon sont souvent représentés par de petits points ou des lignes.

La figure ci-dessous montre comment les yeux de Pokemon sont dessinés, ce qui est souvent affiché sur reddit sous le nom ** "Conception des yeux de Pokemon. De temps en temps" ** à l'étranger. "Le Pokémon récent n'est plus triangulaire et ressemble à Pokémon !!!" </ font> a également été vu dans le questionnaire. Il semble que les yeux triangulaires soient également en partie reconnus comme une caractéristique de Pokemon, mais à la suite de la visualisation de nombreuses images Grad-CAM, il semble que les yeux ronds sont comme Digimon en termes d'IA, mais les yeux triangulaires sont tellement ceux de Pokemon. Impression qui ne sert pas de critère.

Tecateka est un Digimon. Le morceau est un Pokémon.

• L'expression brillante de Digimon
  

Digimon a beaucoup de texture métallique et se caractérise par la manière de la gradation.

• L'expression robuste de Pokemon
  

D'autre part, probablement parce que Pokemon a un type de roche, sa texture et sa structure robustes sont facilement jugées comme Pokemon.

Le petit visage est jugé comme Digimon

--Petite partie du visage de Digimon (seulement une petite partie du grand nombre)

• Expression de petit visage de Pokemon incompris comme Digimon
  

Le petit visage a été jugé comme un Digimon, probablement parce que le visage est un endroit où les lignes et les ombres ont tendance à se concentrer. L'impression que cette expression de petit visage augmente au cours des dernières générations.

Couleurs différentes

En ce qui concerne les couleurs, il y avait beaucoup de choses que je ne pouvais pas comprendre rien qu'en regardant le filtre, j'ai donc utilisé opencv etc. pour additionner les couleurs de chaque image.

• La saturation est différente Le graphique ci-dessous résume la saturation la plus élevée de chaque image Pokemon & Digimon. Vous pouvez voir que seul Digimon utilise une saturation nettement différente.

• La couleur est dispersée différemment Le graphique ci-dessous montre comment les couleurs utilisées dans l'image sont dispersées. En même temps que les couleurs de Digimon ont tendance à être dispersées, on peut voir que de nombreuses couleurs sont utilisées pour les Pokémon à chaque génération.

Comment calculer la dispersion des couleurs: Convertissez RVB en Lab et regroupez les couleurs similaires avec DBSCAN. Créer un vecteur composite pondéré à partir du ab calculé converti en radian par arctan, Il est défini que plus la longueur du vecteur composite est grande, plus les couleurs sont concentrées, et plus la longueur est petite, plus les couleurs sont dispersées.

---

Expérience: faisons ressembler Graena à un Pokémon!

Cet enfant est un Pokémon qui a été confondu avec un Digimon ** 1997 sur 2000 fois. Graena.

Pour ceux qui connaissent Graena, ** "Graena ressemble à un Digimon ??? Que dites-vous ??? Aceburn est un Digimon ???" ** < Vous pourriez penser / font>, mais cela semble être un digimon insensé en termes d'IA, et il est confondu avec un digimon plus de quatre fois plus qu'Aceburn. ** **

Rechercher un mot	Nombre de visites	Par AI Nombre d'erreurs de classification	image
«Comme Graena Digimon»	8 cas	1997
"Aceburn Digimon-like"	Environ 277,000	445

J'ai demandé à ma femme de créer 22 images de cette partie de type Digimon de Graena qui a été modifiée petit à petit, et j'ai laissé un classificateur appris au hasard la classer 1000 fois et mesurer quelle partie a contribué à Pokémon-ness. ..

L'image Graena utilisée dans l'expérience a été téléchargée sur le github suivant https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/graena_change

** Le résultat est le suivant. ** **

changements	image	Pokémon À l'unicité Taux de cotisation	commentaire
Aucun traitement		----	Aucun traitement du tout. Très proche de Digimon
Coin résumé des astuces capillaires		0.8%	Presque aucun effet
Tête		7.0%	Le contour des cheveux sur la tête était arrondi. Au contraire selon l'apprentissage Ça peut être comme un Digimon
Doigt de pied		7.0%	Grad-Selon CAM Répondait aux lignes des doigts plutôt qu'aux griffes Tellement exclu. Bien que la zone à modifier soit petite C'est devenu comme un Pokémon
Yeux triangulaires		7.3%	Pour le premier Pokémon or et argent Introduit les yeux triangulaires qui ont été adoptés. Pour Pokemon-ness Pas beaucoup d'effet
surligner simplification		15.5%	Il réagissait par jugement Digimon Suppression des reflets irréguliers.
Coupe de la pointe des cheveux		23.8%	Les pointes des cheveux sur la partie du contour étaient principalement arrondies. Pokémon-ness grandement amélioré
Résumé des bouts de cheveux		65.7%	Un état dans lequel les faisceaux de cheveux sont ensuite rassemblés. Plus de Pokémon

plusDigimonGraena (Auteur)	plusPokémonGraena (Cercle de résumé des cheveux+Yeux triangulaires+ surligner+orteils)
Pokémon-ness1.3%	Pokémon-ness94.0%

De nombreux fans de Pokémon penseront que les ** "Les triangles sont la meilleure fonctionnalité de type Pokémon !!" ** </ font>. Cependant, il s'agit d'une fonctionnalité triviale pour ** AI avec un taux de cotisation de 7,3%. ** **

L'effet de la déchirure des cheveux était plus grand que cela, et le simple fait de rassembler les pointes des cheveux contribuait à 65,7% au Pokémon-ness.

Il semble que les bords déchiquetés des cheveux aient eu une grande influence sur la reconnaissance de Graena en tant que Digimon par AI. J'ai vérifié les images de tous les Pokémon, mais il était vrai qu'aucun autre Pokémon n'avait des cheveux aussi moelleux. Vous pourriez penser: "C'est un mensonge! Il doit y en avoir plus!" La plupart des Pokémon dont les cheveux semblent pelucheux sont ceux mentionnés dans l'expérience ci-dessus. Un grand paquet est dessiné dans un cercle comme "Cercle de résumé de la pointe des cheveux".

Même les cheveux d'Oronge, un Pokémon caractérisé par des cheveux longs poussant sur tout le corps, Les extrémités des cheveux sont regroupées pour créer une expression arrondie.

---

"Digimon-ness" pour les humains et l'IA est une autre hypothèse

Sur les 155 réponses qui mentionnaient "Digimon" plus tôt, 34 dans ma méthode de comptage (22 dans la méthode de comptage de Oncle Takasa Pokemon) étaient "de quand c'était comme Digimon" et "○ la génération est comme Digimon". Il y avait une référence à. (Comme il n'y a que 34 données, veuillez lire la moitié de l'histoire à partir d'ici) </ font> http://pkmnheight.blogspot.com/2020/07/7.html#itu

Selon le classificateur d'apprentissage en profondeur, le Pokémon avec un design semblable à Digimon était de la ** génération "4,7,8" **. En revanche, la génération la plus fréquemment mentionnée dans le questionnaire est la ** génération «5,7,8» **. Qu'est-ce que cela signifie exactement? Après tout, les humains et l'IA ne peuvent-ils pas se comprendre?

Cette différence entre les humains et l'IA a été évoquée dans un article précédent d'oncle Takasa Pokemon.

** Pokemon-ness-5_Hitogatari augmenté? ** </ Font> http://pkmnheight.blogspot.com/2020/05/5.html

** Il existe de nombreux Pokémon droits de la 5ème génération **.

	Toutes les espèces	Numéro vertical	Taux vertical	Taux d'augmentation
1 génération	151	36	23.8%
2 générations	100	28	28.0%	117.4%
3 générations	135	33	24.4%	87.3%
4e génération	107	27	25.2%	103.2%
5 générations	156	51	32.7%	129.6%
6e génération	72	20	27.8%	85.0%
7e génération	86	27	31.4%	113.0%
8 générations	89	33	37.1%	118.1%

Le pourcentage de Pokémon debout a augmenté par rapport à la génération précédente, En comparant les générations mentionnées dans le questionnaire comme "Digimon-like", à l'exception de la 2ème génération, l'augmentation / diminution est presque la même que "5ème génération est élevée", "6ème génération est calme" et "7ème et 8ème générations sont élevées". Cela correspondait.

Peut-être que la ressemblance digimon de Pokémon dans la perception humaine est en grande partie due au fait qu'il se tient debout ou non sur deux jambes. La raison en est que même les gens qui ne sont pas familiers avec Digimon savent que Digimon se tiendra debout quand ils évolueront (plus précisément, ils ressembleront à des humains et à des super robots). (En fait, quand j'ai vérifié le taux normal de Digimon uniquement pour ceux dont le nom est A, ** 50% des Digimon étaient debout **)

En d'autres termes, dans le "Pokémon récent est comme un Digimon" que les humains ressentent

1. ** Digimon </ span> se tient sur deux jambes au fur et à mesure de son évolution **
2. ** Récent Pokémon </ span> se tient sur deux jambes **
3. ** Par conséquent, le récent Pokémon </ span> ressemble à Digimon </ span> **

** Le raisonnement en trois étapes peut tenir. ** **

---

Résumé

• Créez un classificateur qui entraîne d'anciennes images de Pokémon de la première ère d'or et d'argent et des images Digimon aléatoires, et classez les nouveaux Pokémon et les Digimon restants. Cela a été répété 2000 fois et le taux d'erreurs de classification a été totalisé.
• En conséquence, les Pokémon de "génération 4,7,8" avaient un taux élevé de mauvaise classification pour Digimon. En d'autres termes, ** On peut dire qu'il ressemble à Digimon comme le récent Pokémon. ** **
• ** Les Pokémon au design compliqué sont plus susceptibles d'être classés comme Digimon, mais il semble que la saturation, les yeux ronds, les petits visages, etc. affectent également le "Digimon-like" pour l'IA ** , C'est peut-être une petite partie des fonctionnalités que j'ai pu saisir.
• En combinant la méthode de fabrication d'une paire de Pokémon et Digimon avec le même "Pokémon-ressemblance" et en l'appliquant à Grad-CAM et la méthode de vérification de la sortie de la couche intermédiaire pour chaque canal de filtre, ongles, peinture, yeux, Dans une certaine mesure, j'ai pu comprendre que l'IA est classée en fonction de plusieurs caractéristiques telles que la brillance métallique. «L'apprentissage profond pense que« Digimon-like »est différent du« Digimon-like »des humains, et les humains peuvent se sentir plus comme Digimon dans le contexte de la marche bipède verticale.

Réflexions

«Je voulais entendre les opinions de personnes qui connaissent Digimon. Pokemon a appris en distinguant l'ancien et le nouveau, mais Digimon ne comprenait pas du tout lorsqu'il était examiné, donc c'était complètement aléatoire. «J'ai soulevé certaines« conditions selon lesquelles Pokemon est confondu avec Digimon », mais seules quelques-unes pourraient être interprétées. Afin de rapprocher la classification par IA de l'intuition humaine, il est nécessaire de pouvoir extraire des informations sur la hauteur de chaque image. Des technologies telles que l'estimation des poses et la reconnaissance des affiches ont été développées pour les images d'humains vivants. Il était difficile de le faire avec Pokemon dans l'illustration, sans parler de la position et du nombre de mains, et même la reconnaissance faciale était difficile.

Recommended Posts

J'ai demandé à Deep Learning si les Pokémon récents étaient comme Digimon

J'ai essayé le deep learning

Générez des Pokémon avec Deep Learning

J'ai essayé l'apprentissage en profondeur avec Theano