Note sur «l'ingénierie des fonctionnalités» de HJvanVeen

Aperçu

Je l'ai écrit il y a environ deux ans et je l'ai laissé sur le site interne, mais je vais le publier car c'est un gros problème.

C'est une traduction de la diapositive suivante (C'est une adaptation plutôt qu'une traduction car la composition est assez différente?) «Ingénierie des fonctionnalités» de HJvanVeen https://www.slideshare.net/HJvanVeen/feature-engineering-72376750

Je pense que cette diapositive est plus complète qu'un petit livre si elle est complète. Cependant, comme il s'agit d'une diapositive, il y a de nombreuses parties qui sont difficiles à comprendre avec une description assez simple. Par conséquent, des explications supplémentaires sont ajoutées le cas échéant, et si vous pensez que quelque chose ne va pas, Cependant, il est possible que vous ayez mal compris votre intention car vous n'avez pas entendu l'annonce originale. Pour plus de détails sur chaque sujet, il s'agit essentiellement d'un niveau que vous pouvez facilement comprendre par Google. Je ne l'ai pas écrit, je ne l'ai pas complété, j'ai inclus des explications supplémentaires uniquement pour ceux qui n'ont pas beaucoup d'informations ou sont difficiles à comprendre.

De plus, bien que cette diapositive énumère divers sujets, il n'y a pas beaucoup d'écrit sur les situations d'utilisation spécifiques, les avantages et les inconvénients.Je la laisserai telle quelle cette fois, mais j'aimerais faire quelque chose à ce sujet.

Note de l'éditeur: concernant la mise en œuvre

Les modules suivants peuvent être utilisés lors de l'exécution de l'ingénierie de quantité de fonctionnalités présentée ci-dessous dans Python.

Remarque: les informations du module peuvent être un peu obsolètes car elles ont été écrites il y a longtemps.

pandas Il peut être utilisé pour le traitement général des données tabulaires. Cependant, get_dummies () semble être utilisable pour un encodeur one-hot, mais il ne peut pas gérer les valeurs manquantes, donc je pense qu'il est préférable d'écrire un wrapper de classe ~~ transformer pour scikit-learn. Masu ~~ ʻOneHotEncoderest plus facile à utiliser. scikit-learn Divers «transformateurs» de «prétraitement». En gros, tout peut être converti avec les méthodesfit ()ettransform ()`, ce qui rend le code source plus facile à lire. Il est également possible de s'organiser dans Pipeline. Idéalement, il est organisé dans ce Pipeline, mais peu de classes sont implémentées. http://scikit-learn.org/stable/modules/preprocessing.html Par exemple,

• ~~ Les variables catégorielles ne peuvent pas être gérées directement (l'encodeur one-hot doit mordre l'encodeur d'étiquette) ~~ Amélioré dans la dernière version
• Le traitement de normalisation comprend la normalisation, la mise à l'échelle max-min-abs, etc.
• Prend en charge les convertisseurs tels que le transforemr quantile, le transformateur de fonction, le transformateur de puissance
• L'achèvement des valeurs manquantes n'est que simple, comme le remplacement par une moyenne simple.

Ce domaine est également lié à l'histoire que j'ai écrite plus tôt.

"Pour rendre l'analyse des données plus intelligente en Python"

Category Encoders https://contrib.scikit-learn.org/categorical-encoding/ Diverses classes supplémentaires sont fournies et peuvent être liées à scikit-learn. Il prend également en charge pandas.Series, mais d'un autre côté, il n'est pas implémenté en raison de la vitesse, le traitement des données volumineuses n'est donc pas efficace (très lent).

** Addendum: Une mise à jour récente rend scikit-learn-contrib mais difficile à utiliser dans le pipeline. Je pense qu'il est plus facile d'utiliser le transformateur natif scikit-learn ou de l'implémenter vous-même. **

• Ordinal
• One-Hot
• Binary
• Helmert Contrast
• Sum Contrast
• Polynomial Contrast
• Backward Difference Contrast
• Hashing
• BaseN
• LeaveOneOut
• Target Encoding

Mlxtend Un module plus avancé conçu pour fonctionner avec scikit-learn https://rasbt.github.io/mlxtend/

• Il existe de nombreuses classes de prétraitement pour l'extraction de caractéristiques (cependant, la coopération avec le pipeline scikit-learn n'est pas très considérée).
• Une classe compatible scikit-learn d'empilage est disponible
• Une classe de sélection d'entités simple basée sur des règles de corrélation est également disponible.
• Plutôt que la mise en œuvre, l'explication dans le Guide de l'utilisateur est utile en détail. ** Plus détaillée que la diapositive présentée cette fois **.

** Addendum: avec une mise à jour récente, scikit-learn prend également en charge les classes d'apprentissage hétéro-ensemble faciles. La comparaison d'utilisabilité n'a pas été étudiée **

imbalance-learn Un module créé sur l'hypothèse qu'il fonctionnera avec scikit-learn. Traitement des données déséquilibrées http://contrib.scikit-learn.org/imbalanced-learn/stable/

• Par exemple, SMOTE est implémenté
• Supporte également les pipelines (remplacez par ʻimblearn.pipeline.Pipeline` au lieu de scicit-learn)
• D'autre part, ** il n'y a pas de fonction d'étalonnage post-probabilité ** [^ imbpost]

[^ imbpost]: Le rééchantillonnage de données déséquilibrées déforme les probabilités postérieures et entraîne (évidemment) un biais dans la prédiction lorsqu'il est utilisé tel quel pour la classification. SSCI.2015.33](https://doi.org/10.1109/SSCI.2015.33)), mais l'idée de cet article a été mentionnée à maintes reprises auparavant. Page personnelle de Takuya Kitazawa a un résumé des idées ici pour votre référence.

fancyimpute Module pour compléter la valeur manquante https://github.com/iskandr/fancyimpute

(Je ne l'ai jamais utilisé)

Histoire principale

J'ajouterai un peu avant la partie principale

• encoding

• S'agit-il d'une conversion, en particulier un à un?

• collision

• La valeur convertie ne devient pas 1: 1 (collision)

Conversion en fonctionnalités catégorielles

conversion one-hot encodage one-hot

• Convertissez chaque étiquette de variable catégorielle en une variable factice
• Occupe beaucoup de mémoire
• le format clairsemé est meilleur [^ one-hot-sparse]

[^ one-hot-sparse]: Traduction: Il existe des implémentations telles que pandas.get_dummies et sklearn.preprocessing.OneHotEncoder, qui peuvent toutes deux être renvoyées sous forme de matrice éparse de scipy. .pydata.org / pandas-docs / stable / generated / pandas.get_dummies.html, http://contrib.scikit-learn.org/categorical-encoding/onehot.html, http://scikit-learn.org/stable /modules/generated/sklearn.preprocessing.OneHotEncoder.html ~~ Cependant, comme sklearn est compatible numpy, les données d'entrée sont uniquement de type numérique ~~ Actuellement, il est assez facile à utiliser car il prend également en charge le type d'objet.

Codage de hachage de conversion de hachage

Aussi appelé astuce de hachage, fonctionnalité de hachage [^ hash-trick].

[^ hash-trick]: Dans l'article original (DOI: 10.1145 / 1553374.1553516), hash trick est une combinaison de conversion de hachage et d'astuce du noyau. Récemment, beaucoup de gens appellent cela simplement la conversion de hachage.

• Convertit les variables catégorielles en un hachage de la taille spécifiée, puis un encodage à chaud
• Contrairement à one-hot, il supprime l'augmentation des colonnes
• Peut accueillir de nouvelles étiquettes pour les données de test

Codage des étiquettes Codage des étiquettes

• Remplacez chaque étiquette par un numéro unique
• Naturellement, la dimension n'augmente pas
• Utile lors de l'utilisation d'algorithmes de type arbre de décision (non linéaire)
• (Linéaire) Ne convient pas à la régression (souvent)

Encodage du compte de conversion de comptage

• Remplacez chaque étiquette par la fréquence d'apparition de cette étiquette dans les données d'entraînement
• La dimension n'augmente pas
• Valable pour les linéaires et non linéaires [^ nombre linéaire]
• Peut être trop sensible aux valeurs aberrantes
• (Le problème ci-dessus) La sensibilité peut être réduite par conversion logarithmique.
• Réglez l'étiquette qui n'apparaît jamais sur «" 1 "»
• Différentes étiquettes peuvent avoir la même valeur après la conversion

Notez que dans le cas d'un modèle linéaire, la variable objectif et le nombre doivent avoir une corrélation linéaire avant d'être valides.

Codage du nombre d'étiquettes

• Convertir davantage le codage de comptage en ordre de fréquence
• Efficace pour les linéaires et non linéaires [^ yuukou]
• Non sensible aux valeurs aberrantes
• Ne vous heurtez pas [^ tie]
• Soyez prudent lors de la conversion de plusieurs variables différentes (car elles sont sujettes à des conflits même si les variables d'origine sont différentes)
• Faisons de bonnes choses (dans ce cas, pour chaque variable)

[^ yuukou]: Traduit par: Comme d'habitude, cela signifie "valide (parfois)" [^ tie]: Que faire en cas d'égalité de classement

Encodage de la cible de conversion cible

• Calculez la fréquence relative (pourcentage) de la variable objectif au lieu d'utiliser la fréquence pour chaque catégorie comme dans le codage de comptage.
• Il est important d'éviter le surajustement!
• Utilisez la vérification croisée, etc. pour éviter le surajustement
• S'il y a beaucoup de zéros, envisagez d'interpoler avec le lissage.
• Peut ajouter du bruit pour éviter le surajustement
• Efficace pour les linéaires et non linéaires si bien utilisé

Intégration de catégorie

• Intégration dense avec un réseau neuronal
• Copiez les variables catégorielles pour approximer les fonctions dans l'espace euclidien de n'importe quelle dimension
• Apprentissage rapide
• Faible surcharge de mémoire
• Meilleures performances que one-hot [^ embed]

[^ embed]: Comme d'habitude, il y a des cas où ce n'est pas une propriété universelle (arXiv: 1604.06737). Il est efficace dans le cas de "structure plus compliquée", dans des situations comme le problème dit du rouleau suisse.

Conversion NaN Codage NaN

• Il y a des informations dans la valeur de NaN
• S'il existe une valeur NaN, créez une variable factice contenant ces informations.
• Faites attention car il est facile de surajuster!
• À utiliser uniquement dans les situations où NaN apparaît à la fois dans les données d'entraînement et les données de test (et si divisé par CV)

Encodage polynomial

• Comment convertir les termes d'interaction entre les variables catégorielles
• XOR ne peut pas être représenté sans terme d'interaction dans un modèle linéaire
• Le noyau polygonal peut résoudre le problème XOR
• Puisque l'espace des fonctionnalités explose, utilisez ensemble FS [^ fs], le hachage, VW [^ vw], etc.

** Traduction **: la transformation polygonale consiste à utiliser une combinaison de variables catégorielles comme quantité d'entités. Il peut s'agir de deux paires ou plus, ou de trois combinaisons ou plus. Catégorie La conversion à chaud des variables cal entraîne souvent de très grandes dimensions. Par conséquent, si vous ajoutez une combinaison de celles-ci, une "explosion de combinaison" se produira. S'il existe de nombreuses variables cal catégorielles, l'apprentissage qui inclut la transformation polymorphe Vous pouvez utiliser l'algorithme Factorlization Machine (10.1109 / ICDM.2010.127). Voudrais

[^ fs]: Voulez-vous dire la sélection des fonctionnalités? [^ vw]: Je ne suis pas sûr de cela. VowpalWabbit algorithme de sélection des fonctionnalités?

Codage d'extension de conversion d'extension

• Décomposer une variable catégorielle en plusieurs étiquettes
• Variables non organisées telles que les informations sur l'agent utilisateur du navigateur et les informations sur la version du système d'exploitation

Codage de consolidation

• Au contraire, il roule sans se convertir en 1 en 1.
• Efficace pour traiter les fautes d'orthographe, les fluctuations de notation et les données textuelles dans lesquelles les noms officiels et les abréviations sont mélangés.
• Données réelles, l'espace libre est particulièrement salissant

Conversion en fonctionnalités numériques

Conversion d'informations numériques telles que les variables continues et les décomptes qui sont plus faciles à reconnaître pour l'algorithme que les variables catégorielles.

Arrondir arrondi / binning binning

• Transformation irréversible lorsque vous souhaitez exprimer plus clairement les caractéristiques
• Les nombres avec trop de chiffres peuvent parfois être juste du bruit
• Les variables arrondies peuvent également être traitées comme des variables catégorielles
• Il existe également une main appelée conversion logarithmique avant l'arrondi
• Il est nécessaire de déterminer de manière pratique la largeur optimale du bac. Par exemple, le point de division
• Le binning peut être en mesure de convertir avec succès les valeurs de la plage qui n'apparaissent pas dans les données d'entraînement

Mise à l'échelle

Conversion de variables numériques pour s'adapter à une plage spécifique.

• Mise à l'échelle Z (normalisation)
• Min-Max scaling[^minmax] [^ minmax]: également appelé normaliser. La plage est comprise entre 0 et 1.
• root scaling
• log scaling

Interpolation des valeurs manquantes Imputation

• En moyenne
• À la médiane (plus de paupières par rapport aux valeurs aberrantes)
• Supposons que nous n'ayons rien vu (prolongez le problème) [^ par paire]
• Estimation par modèle. Notez que la valeur estimée est biaisée [^ estimation]

[^ par paire]: Traduction: suppression par paire? [^ estimation]: Traduction: modèle Tobit ou méthode d'affectation multiple?

** Traduction **: un algorithme qui ne peut pas gérer les valeurs manquantes peut fonctionner, mais les trois premières méthodes ne sont généralement pas valides. Le quatrième "modèle" Dans «Estimer avec», «Notez que le biais de la valeur estimée est ajouté», mais il est également clair que la méthode d'interpolation avec la valeur moyenne ou la valeur médiane impose également un modèle arbitraire sur la distribution des quantités de caractéristiques. Ainsi, si ces méthodes sont efficaces, on peut dire que, par exemple, une méthode de conversion uniforme des valeurs manquantes en zéro est également efficace.

Les interactions

• Apprivoiser ainsi: Addition / soustraction, multiplication, division
• Utilisons: Trier par importance des fonctionnalités, etc.
• Arrêtons-nous: l'intuition humaine [^ intui]. Des combinaisons inattendues peuvent avoir un sens

[^ intui]: C'est comme une "croyance"

Algorithme non linéaire pour la chute linéaire

Comment améliorer l'ajustement à un modèle linéaire en effectuant une transformation non linéaire [^ nonlin].

• Noyau de polygone
• leafcoding
• Algorithme génétique
• Intégration linéaire locale, intégration de spectre, t-SNE

** Traduction **: Il n'y a pas d'explication spécifique pour le ** code feuille **, mais peut-être qu'un algorithme d'arbre de décision tel qu'une forêt aléatoire est appliqué, et au lieu d'utiliser la valeur prédite, des informations sur le nœud feuille tombé sont présentées. La forêt aléatoire peut également apprendre des structures complexes, il est donc suggéré que les informations de nœud feuille peuvent être capables de convertir des fonctions non linéaires en informations linéaires. Je ne sais pas de qui il s'agit, mais par exemple, 10.1145 / 2648584.2648589 a un exemple d'utilisation. [^ nonlin]: La plupart des méthodes énumérées ici sont coûteuses en calcul ou extrêmement coûteuses en calcul en ce qui concerne la dimension, donc beaucoup ne sont pas pratiques quand il y a beaucoup de variables. Par exemple, "Kernel Multivariate Analysis" d'Akaho est une bonne référence pour cette histoire.

Utilisation des statistiques pour chaque ligne comme caractéristiques

• Nombre de valeurs manquantes
• Nombre de zéros
• Nombre de valeurs négatives
• Distorsion moyenne maximale et minimale, etc.

Variables temporelles

Variables qui représentent des dates, etc., choses qui doivent souvent être confirmées, là où des erreurs sont susceptibles de se produire, mais peuvent souvent être considérablement améliorées.

• Transformation circulaire: remplacez les nombres circulaires tels que les dates de la semaine et du mois par deux variables cycliques telles que les coordonnées du cercle.
• Extraire les tendances: Par exemple, si le montant total de l'achat est défini sur la valeur du week-end, la valeur de fin de mois, etc., il est possible de faire la distinction entre les clients dont le montant d'achat augmente et les clients dont le montant d'achat diminue même si le montant total est le même.
• Distance des grands événements

• Créez une quantité de fonctionnalités qui indique combien de jours avant / après les vacances

** Traduction **: Bien que non mentionné par l'auteur, il existe une manière classique de "transformation circulaire" d'utiliser la classe de Fourier finie (expansion polynomiale triangulaire) utilisée pour approximer les fonctions périodiques. Par exemple, prophet C'est ainsi que s'exprime la périodicité (si vous ne connaissez pas le prophète, ce que j'ai écrit et son lien Il existe de nombreuses autres techniques que Prophet peut facilement mettre en œuvre par vous-même, ce qui peut être utile lorsqu'il s'agit de variables de temps. Bien sûr, c'est plus simplement le jour, le jour de janvier, l'année. Dans certains cas, des informations telles que le nombre de jours de la journée peuvent être exprimées par conversion one-hot en tant que variable catégorielle.

Variables spatiales

Localisation spatiale: coordonnées GPS, villes, pays / régions, adresses, etc.

• Krigeage [^ krigeage]
• Clustering avec méthode K-moyenne
• Utilisez les données brutes de latitude et de longitude telles quelles
• Convertir l'emplacement de la ville en latitude et longitude
• Code postal dans le texte de l'adresse
• Distance de la ville centrale

• Les petites villes sont sous l'influence de la culture des grandes villes voisines
• Les numéros de téléphone peuvent être liés à la distance géographique

• Certaines informations de localisation sont suspectes

• Vitesse de déplacement impossible
• Restez dans un endroit différent de votre domicile ou de votre itinéraire
• Ne restez plus jamais au même endroit

[^ kriging]: Traduction: Voulez-vous faire cela? Je pense que vous pouvez l'essayer en ajoutant un variogramme au montant de la fonction.

Exploration Exploration

Examinez les données. Trouvez des idées pour la qualité des données, les valeurs aberrantes, le bruit et l'extraction d'entités.

• Fonctionne avec une console, un ordinateur portable ou des pandas
• Vérifier en prenant de simples statistiques descriptives
• Voir la corrélation avec la variable objective

Itération / Débogage Itération / Débogage

Étant donné que l'ingénierie de la quantité d'entités est un travail qui se répète plusieurs fois, effectuez le flux de travail afin qu'il puisse être répété rapidement.

• "Débogage approximativement en ligne droite" Les informations intermédiaires sont sorties sous forme de pseudo-journal et confirmées au milieu du traitement
• Utilisez des outils pour une recherche plus rapide
• Sachez qu'il y a plus d'idées qui échouent que d'idées qui fonctionnent

Ingénierie d'étiquettes

La variable étiquette / cible / objectif elle-même peut être utilisée comme quantité de caractéristiques, et vice versa.

• Conversion log / exponentielle
• Conversion carrée
• Conversion Box-Cox
• Notation des variables binaires dans les problèmes de régression
• Entraînez-vous avec des variables objectives pour prédire les fonctionnalités futures qui ne peuvent pas être utilisées avec les données de test

** Traduction **: Cet élément est trop vague pour être compris, mais je pense qu'il fait référence à trois techniques principales.

La première technique consiste à améliorer l'ajustement en transformant la variable objective. Par exemple, un modèle de régression linéaire simple a tendance à être moins ajusté si la distribution est asymétrique et déformée, telle que logarithmique ou au carré. Vous constaterez peut-être que le modèle de régression linéaire s'adapte également mieux si vous transformez la variable objectif en et l'ajustez pour qu'elle soit symétrique. Un exemple typique est le ** modèle linéaire généralisé ** (GLM).

La seconde mentionne que l'ajout d'une variable objectif transformée d'une autre manière à un tel modèle peut être encore mieux, bien sûr, parce que la variable objectif est utilisée comme une quantité de caractéristiques. Il ne peut pas être utilisé pour la prédiction réelle, mais il peut être utilisé pour vérifier où est la cause du mauvais ajustement, en d'autres termes, quelle est la tendance de la variable objective qui n'est pas capturée par le modèle en cours de test. En d'autres termes, en vérifiant un tel modèle avec un histogramme résiduel ou un graphique qq, nous pouvons obtenir un indice que nous pouvons améliorer la méthode de conversion de la variable objective mentionnée dans la première technique.L'auteur est en statistique. Je pense qu'il mentionne une méthode appelée diagnostic résiduel.

Le troisième est le contenu mentionné dans les deux derniers "Variables bivalentes ~" et "Ne peut pas être utilisé dans les données de test ~". Comme son nom l'indique, il n'y a que deux valeurs pour les variables binaires, donc il y a peu d'informations. , On dit que la valeur de cette variable binaire est déterminée par une variable inconnue ** modèle de variable latente * On pense qu'il y a une probabilité invisible derrière elle, telle que *. La notation consiste à créer une variable qui représente la probabilité correspondant à la valeur d'une variable binaire, et ** remplacer le problème de classification par un problème de régression pour la variable de score. Cela signifie **, car cette variable de score ne peut pas être créée sans réfléchir (comme d'habitude, choisir uniquement le modèle qui correspond le mieux aux données revient à résoudre un problème de classification normal). , Il sera nécessaire d'obtenir des informations sur la façon dont la probabilité est déterminée à partir de l'extérieur des données, ce que l'on appelle la "connaissance du domaine". "Ne peut pas être utilisé dans les données de test ~" consiste à prédire la valeur des quantités de caractéristiques futures. Cela signifie créer un autre modèle de prédiction avec d'autres grandeurs d'entités et variables objectives comme quantités d'entités. On peut également les considérer comme des ** complémentations de valeurs manquantes au sens large **. Ces deux techniques utilisent un autre modèle de prédiction. Cela prend du temps, mais bien sûr, une telle méthode peut être efficace.

Pour le traitement du langage naturel

** Traduction **: Cette section est une liste très rudimentaire d'histoires sans explications spécifiques, vous voudrez peut-être lire un manuel décent (comme la série de traitement du langage naturel de Corona).

• Vous pouvez utiliser les mêmes idées que les fonctionnalités catégorielles
• L'apprentissage profond (auto-encodeur / auto-encodeur) érode ce domaine, mais l'apprentissage superficiel avec des fonctionnalités bien conçues est toujours compétitif.
• La rareté élevée des données provoque ce que l'on appelle une "malédiction de la dimension"
• Il existe de nombreuses opportunités pour l'ingénierie de la quantité d'entités (notez que ce qui suit est une histoire en anglais)

• Nettoyage:

• minuscules minuscules
• unidecode Remplace les caractères accentués par des caractères ASCII
• suppression non alphanumérique Supprime les caractères alphanumériques (ou supprime les contrats, etc.)
• Réparation du problème d'encodage: les caractères pleine largeur à demi-largeur, les espaces étranges entre les caractères sont supprimés, etc.

• tokenize tokenize

• encodage des signes de ponctuation Conversion des contrats * token-grams * skip-grams
• char-grammes Création de n-grammes caractère par caractère

• Celui qui ne laisse que le début et la fin des affixes char-grammes
• Suppression

• suppression des mots vides
• suppression des workds rares / très courants Suppression des mots rares et fréquents

• Mot tige

• Hacher Ne laissez que les n premières lettres d'un mot
• Correction de la correction de la notation
• Tige Ne laisse que la tige
• Lemmannisation Trouver une racine sémantique?

• Donner des informations

• Caractéristiques du document Informations à l'échelle du document telles que le nombre d'espaces / tabulations, le nombre de lignes, le nombre de caractères, etc.
• Complément de complétion de mots d'insersion d'entité pour clarifier le sens du texte
• Ajout de la structure logique de l'instruction Parse tree: sujet, objet, verbe ...
• Niveau de lecture Niveau de lecture des documents (?)

• Similitude * word2vec, glove/doc2vec

• smilarité symbolique Similitude des chaînes + Levenstein?Hamming/Jaccard dist.

• voisin le plus proche Méthode du voisin le plus proche
  • TF-IDF

• terme fréquence Fréquence des jetons apparaissant dans un document pour tous les documents Réduit les biais dus aux différences de longueur des documents
• fréquence inverse du document Fréquence inverse du document: l'inverse de la fréquence d'occurrence du jeton par document. Réduction du biais de jeton fréquent
• TF-IDF Peut identifier les jetons importants et exclure les moins importants.

• Réduction de dimension

• Analyse en composantes principales (ACP) / Décomposition de singularité (SVD): Pour 50-100 dimensions [^ pcanlp]
• Méthode d'allocation de direction latente (LDA): SVD à TF-IDF
• Analyse sémantique latente (LSA): création de vecteurs de sujets

• Fiez-vous au modèle externe

• Analyse sémantique: informations positives / négatives dans le texte d'analyse des émotions
• Modèle de sujet

[^ pcanlp]: Traduction: La base de ce nombre est inconnue

Réseau neuronal et apprentissage en profondeur

• Certaines personnes affirment que Neural Net fait automatiquement toutes les fonctionnalités, du berceau au cimetière [^ dl]
• Ensuite, l'extraction de la quantité d'entités n'a-t-elle plus aucun sens?
• Non! Changeons notre perspective vers l'ingénierie de l'architecture [^ mean-feature]
• Preuve sans rapport avec la présence ou l'absence de réseaux neuronaux: Dans le domaine de la reconnaissance d'image, extraction de caractéristiques à l'aide de HOG, SIFT, blanchiment, perturbation, pyramide d'images, rotation, conversion en z, conversion logarithmique, trames-grammes, informations sémantiques externes, etc. (De toute évidence, ce n'est pas une tâche qui ne peut être effectuée que par le deep learning **)

[^ dl]: HAHAHA Ce n'est pas le poisson d'avril aujourd'hui! [^ mean-feature]: Un aspect de l'extraction d'entités n'est-il pas un processus pour améliorer le problème des conditions défavorables et stabiliser le calcul d'optimisation en premier lieu?

Leakage/Golden Features

• L'extraction de fonctionnalités permet d'utiliser les fuites [^ leakage]
• Ingénierie inverse

• Décrypter le hash MD5 avec la table arc-en-ciel
• Restaurer la fréquence des mots de TF-IDF
• Encoder une séquence d'échantillons de jeux de données
• Coder la date de création du fichier

• Faites du minage de règles

• Trouvez une règle d'encodage simple pour les fonctionnalités

[^ leak]: La fuite est une méthode pour améliorer l'ajustement des données de test en utilisant des informations qui ne sont pas disponibles à l'origine au moment de l'apprentissage. Il semble que cela soit parfois dû à une erreur de l'interrogateur dans kaggle. Par conséquent, ce n'est pas pratique. , Les techniques énumérées ci-dessous dans l'ingénierie inverse et l'extraction de règles auront l'opportunité d'être utilisées dans n'importe quelle situation.

épigraphe

Il est inséré à divers endroits, mais je vais le résumer ici.

Andrew Ng "Le livre sur l'application de l'apprentissage automatique qui est difficile à capturer des fonctionnalités, fait perdre du temps et possède une expertise en ingénierie des fonctionnalités." Domingos "L'apprentissage automatique a à la fois des succès et des échecs. Quelle est la différence? En termes simples, le facteur le plus important est les fonctionnalités utilisées." Locklin: "L'ingénierie des fonctionnalités est quelque chose d'autre qui ne suffit pas pour figurer dans des articles de lecture ou des manuels, mais elle est absolument essentielle au succès de l'apprentissage automatique ... Retour à l'ingénierie " Miel: "Rendre les données d'entrée compréhensibles par l'algorithme" Hal Daume III "Ce que disent la plupart des articles: l'ingénierie des fonctionnalités est difficile et prend du temps, mais nous avons trouvé une nouvelle façon pour les réseaux de neurones de faire de même dans cet article de huit pages. Il est écrit" François Chollet "Développer un bon modèle nécessite de répéter encore et encore l'idée originale jusqu'à la date limite. Il y a toujours un potentiel pour améliorer le modèle. Le modèle final aborde généralement le problème en premier. C'est presque différent de la perspective à l'époque, car les horaires apriori ne peuvent en principe pas survivre au conflit avec la réalité expérimentale. "