Puisqu'il s'agit d'un article du Calendrier de l'Avent empruntant le nom de l'entreprise, nous traiterons du matériel lié à l'entreprise.

(Introduction) À propos de Job Change Conference

Livesense organise une conférence sur le changement d'emploi, un site qui traite des évaluations de la réputation des entreprises par les changeurs d'emploi, et des critiques quotidiennes sur les entreprises sont publiées.

Jusqu'à présent, lors de la réunion de changement de poste, les données textuelles du bouche-à-oreille et les données de score constituées de 5 étapes étaient acquises en tant que données distinctes, mais avec le récent renouvellement, les données de score et de texte peuvent être publiées en même temps, ce qui facilite la lecture du bouche-à-oreille. Il est désormais possible de fournir.

Avis postés avant le renouvellement	Avis postés après le renouvellement
<img src="https://qiita-image-store.s3.amazonaws.com/0/7307/680fd65f-5b4f-6919-0ab7-b53163d3d0eb.png "before.png " width="400">

Un sentiment de défi ressenti ici

Bien que les avis récemment publiés soient devenus plus faciles à lire en raison de leurs scores, le grand nombre de publications accumulées dans le passé ne contient naturellement pas de données de classement à cinq niveaux et il n'est pas possible d'afficher une icône de visage telle quelle.

Cependant, si ce problème est résolu et que les critiques passées ** deviennent également plus faciles à lire, cela devrait être un meilleur site! ** **

J'ai décidé d'essayer de résoudre le problème.

Vous cherchez un début. Examiner la méthode

À l'examen, il semble que ce problème s'appelle l'analyse des émotions (autre que l'analyse de réputation, l'analyse des sentiments ou la classification des sentiments).

En outre, la méthode peut être divisée en gros comme suit.

Méthode de jugement utilisant le dictionnaire des émotions
Essayez une analyse rudimentaire des émotions pour les données de l'API Twitter Stream
Résultat d'un jugement négatif / positif de tweets sur Twitter avec Python --Méthode utilisant l'apprentissage automatique
Analyse émotionnelle des tweets par apprentissage en profondeur

Méthode 1: Méthode utilisant un dictionnaire d'émotions

La méthode utilisant le dictionnaire des émotions est une logique simple, par exemple, si "" heures supplémentaires "" est négatif et "" pas d'heures supplémentaires "" est annulé, il est jugé positif. Cependant, cela devint vite difficile.

Il n'y avait pas beaucoup d'heures supplémentaires

Par exemple, dans le cas ci-dessus, il semble qu'il n'était pas possible de résoudre le problème simplement en s'engageant avec Chochoi, et il était nécessaire de considérer divers modèles. De plus, il semble qu'une telle expression soit souvent utilisée, probablement en raison de la nature du bouche-à-oreille pour changer d'emploi. .. ..

Je suis venu au point et j'ai abandonné cette méthode tôt

Méthode 2: méthode d'apprentissage automatique

Des domaines inconnus tels que l'apprentissage automatique et l'apprentissage en profondeur. Personnellement, j'étais complètement ignorant et cela me semblait difficile, mais cela m'intéressait aussi, j'ai donc décidé d'explorer cette méthode.

Découvrez l'analyse des émotions par apprentissage automatique

A partir du moment où je n'avais que des connaissances vagues, lorsque j'ai procédé à une enquête plus approfondie en m'appuyant sur le mot «analyse des sentiments», j'ai trouvé les choses suivantes.

――Retroactive Neural Network (RNN) semble être bon pour la gestion des phrases. Parmi eux, le LSTM a tendance à améliorer la précision.

Prédire les données de séries chronologiques avec le réseau neuronal
The Unreasonable Effectiveness of Recurrent Neural Networks --Ce [article traduit en japonais] ci-dessus (http://qiita.com/GushiSnow/items/c0ff3f213cade8b760b8)
J'ai trouvé des échantillons faisant l'analyse des sentiments.
Exemple utilisant Tensorflow (github)
Le japonais est entré en le divisant en unités de caractères. «Cela avait l'air bien, mais il semblait difficile de le contrôler librement.
Exemple de chaîne (github) ――Est-ce en anglais? On dirait que c'est fait. ――Il semble que diverses préparations soient nécessaires pour l'utiliser.
Article de référence
Exemple de RNN basé sur des personnages avec Chaniner (github) ――Cela semble générer la phrase suivante au lieu de l'analyse des sentiments. Cela a l'air amusant aussi
Exemple utilisant Theano ――Il semble que vous jugiez une critique de film en anglais. «Je comprends en quelque sorte où et ce que je fais.
** Si vous pouvez créer des données, vous pouvez déplacer quelque chose ** «Je vois de l'espoir.

(Sujet principal à partir d'ici) Effectuer une analyse des émotions avec LSTM

Cette fois, nous utiliserons Sample using Theano pour procéder à la vérification.

(Pour utilisation, Notes de lecture de code est un article séparé, donc si vous êtes intéressé, veuillez vous y référer)

Caractéristiques des données d'entraînement et définition des problèmes

Caractéristiques des données d'entraînement

Les données de bouche-à-oreille de la réunion de changement de carrière à utiliser comme données d'apprentissage cette fois-ci présentent les caractéristiques suivantes pour un seul bouche-à-oreille.

--Données textuelles --100 caractères ou plus --Revue d'une entreprise (pas très pertinente cette fois) --Revue d'une question (pas très pertinente cette fois)

Données de score
Évaluation en 5 notes de l'entreprise —— 1 est le plus bas et 5 est le plus élevé ――Une chose courante que les gens choisissent en fonction du nombre d'étoiles qu'ils ont

Problème de réglage

Sur la base des résultats obtenus jusqu'à présent, définissez à nouveau le problème comme suit.

Créer un modèle qui peut juger si le texte de bouche à oreille écrit est positif ou négatif

À l'origine, je voudrais viser une évaluation en 5 notes selon les données, mais il semble que le niveau de difficulté soit encore élevé, donc je ne le ferai pas cette fois.

De plus, cette fois, j'essaierai en me basant sur un sentiment approximatif, donc les hypothèses et les hypothèses selon lesquelles les phrases avec des scores faibles sont «négatif» et les phrases avec des scores élevés sont «positive» Et continuez.

Préparation des données

En tant que préparation des données, nous procéderons à des préparations comme celle-ci

--Pour la saisie, utilisez la version numérisée du dictionnaire caractère par caractère. --Exemple :) Bonne compagnie-> [1,1,2,3] --Préparez 1300 avis avec 1 (négatif) et 5 (positif) scores dans chaque échantillon.

Réétiquetage avec 0 pour négatif et 1 pour positif --Modifié Script de lecture de données afin qu'il puisse lire ses propres données. ―― Ce script divise les données d'entraînement en formation et vérification.
Les données de test sont disponibles ainsi que les données de formation.
Dans ce script, les données de test sont totalement indépendantes de la formation et ne sont utilisées que pour la mesure des erreurs.

Pour le moment, essayez de le déplacer comme échantillon.

Déplacez-vous lorsque les données sont prêtes. Cela prend beaucoup de temps par défaut, il semblait donc préférable d'ajuster le nombre de couches cachées de manière appropriée.

Essayez avec un script simple

Après avoir attendu un moment et le modèle est construit, jetez un mot simple pour le moment et essayez de le faire fonctionner.

En regardant pred_probs () autour de la ligne 400 de Learning Script, "Si vous voulez vérifier avec un modèle entraîné, vous pouvez vous y référer. Puisque quelque chose comme "Yo" est écrit, vérifiez-le avec un petit script faisant référence à cela.

`negaposi.py`


model = numpy.load("lstm_model.npz")
tparams = lstm.init_tparams(model)

(use_noise, x, mask, y, f_pred_prob, f_pred, cost) = lstm.build_model(tparams, 
    #Si vous ne lancez pas cette option, vous obtiendrez une KeyError.
    'encoder': 'lstm',
    'dim_proj': 128,
    'use_dropout': True,
})

#Simplification minimale
def pred_probs(f_pred_prob, sentence):
    probs = numpy.zeros((1, 2)).astype(config.floatX)
    x, mask, _y = imdb.prepare_data([sentence],
                              1, #mannequin. Approprié car non utilisé.
                              maxlen=None)
    return f_pred_prob(x, mask)[0]

#Entrée qui numérise chaque chaîne de caractères
sentences = [
    {
        "data": [27, 72, 104, 150, 19, 8, 106, 23],
        "text": "C'est une très bonne entreprise"
    },
    {
        "data": [27, 72, 104, 402, 121, 73, 8, 106, 23],
        "text": "C'est une très mauvaise entreprise."
    }
]

for sentence in sentences:
    result = pred_probs(f_pred_prob, sentence["data"])
    print "==="
    print result
    print sentence["text"], ("is positive" if (result[0] < result[1]) else "is negative")

Courir

% python sample.py
===
input:C'est une très bonne entreprise=> [27, 72, 104, 150, 19, 8, 106, 23]
output: [ 0.06803907  0.93196093]
Une très bonne compagnie est positive
===
input:C'est une très mauvaise entreprise.=> [27, 72, 104, 402, 121, 73, 8, 106, 23]
output: [ 0.73581125  0.26418875]
La pire entreprise est négative

D'une manière ou d'une autre, c'est sorti comme ça. C'est incroyable. La sortie est le résultat du passage par LSTM, et il semble que la probabilité de chaque classe soit renvoyée.

Je sentais que je pouvais y aller, alors je vais procéder à une vérification plus approfondie.

Résultats de test

Regardons de plus près le résultat de l'exécution en jouant avec divers paramètres. Pour le moment, les résultats de dim_proj = 8 (couche cachée) et validFreq = 30 (fréquence de vérification), qui semblaient être bons en tant que tels cette fois.

Transition du taux d'erreur

Le script exécuté cette fois enregistre la transition d'erreur entre les données de vérification et les données de test. Il semble que ce soit la transition.

Puisqu'une époque est terminée vers 2600 mises à jour, ce qui termine les données de vérification, on peut voir que l'erreur diminue après cela.

De plus, dans le script d'entraînement, il effectue un arrêt anticipé, vous pouvez donc voir qu'il s'arrête modérément avant qu'une suradaptation ne se produise.

Analyse des résultats des données de test

Lors de la vérification, le taux d'erreur des données de test est d'environ 0,2 à 0,3 à la fin, nous pouvons donc nous attendre à un taux de réponse correcte d'environ 70 à 80%.

Jetons un coup d'œil aux données utilisées comme test pour voir si elles le sont vraiment.

Voir la distribution des scores et la classification des émotions

Si vous étendez le negaposi.py utilisé précédemment, classez les échantillons de test par négatif / positif, et obtenez la distribution de chacun, cela ressemble à ceci

But	negative(%)	positive(%)
★ 1 avis	84.34	15.66
★ 2 avis	66.53	33.47
★ 3 avis	45.07	54.93
★ 4 avis	25.77	74.23
★ 5 avis	27.59	72.41

Vous pouvez voir quelque chose comme ça

--Impression: semble bon

★ 1 et ★ 5 ont un taux de réponse correcte de 70% à 80%. Après tout, il semble qu'il n'y ait pas de grande différence avec le résultat.
★ 4 et ★ 2, qui étaient exclus au moment du test, sont également des valeurs raisonnables. ―― ★ 3 est un peu intéressant car il est proche de 50-50. ――Si vous regardez de plus près le contenu, vous remarquerez peut-être quelque chose.

Recevez le résultat de la vérification

――Résultat: c'est comme un succès

Grand succès! Sinon, il sera utilisable si vous faites de votre mieux. ――Il semble que l'application pratique ne soit pas un rêve «Je suis venu si loin pour juste le faire. LSTM est incroyable! «Honnêtement, je ne suis pas si sûr d'avoir travaillé dur pour atteindre ce point.

――Si vous pensez à améliorer un peu plus la précision, cela semble possible. ―― La précision sera-t-elle améliorée si vous affinez les informations telles que l'âge et l'industrie?

Ajuster plus de paramètres tels que les couches cachées?
La quantité de données est-elle encore faible? Attendez un peu plus longtemps?

Impressions

«Pendant que j'enquêtais, c'était" je ne comprends pas du tout ... ", mais quand je l'ai essayé en le déplaçant, je l'ai souvent découvert. ――Il est important de l'essayer pour le moment ――Lorsque j'ai lu Deep Learning au moment où toutes les choses que je ne comprenais pas étaient épuisées, j'ai senti que mon cerveau était rempli et c'était d'une grande aide. C'était. «J'ai lutté pendant quelques jours, mais à bien des égards, j'ai pu ressentir le ridicule du monde de l'apprentissage automatique. ――Potentiel que même si cela devient un sujet incontournable pour les ingénieurs dans quelques années, ce ne sera pas étrange

pandas C'était facile à manipuler et c'était le meilleur. panda Merci.

Analyser émotionnellement les données de bouche-à-oreille d'entreprise des réunions de changement de carrière à l'aide de l'apprentissage en profondeur