Le tableau ci-dessus présente les 10 mots les plus fréquemment utilisés pour chaque jour de février à avril. Cependant, «Colon Wils», «COVID-19» et «Maladies infectieuses» sont exclus de la sortie. De plus, les parties du tableau auxquelles vous souhaitez prêter attention sont affichées en rouge.

(1) De janvier à début février, les symptômes du nouveau virus corona tels que «pneumonie», «influenceur», «buhan», «confirmation» et «croisière», ainsi que les tendances des guerriers et des navires de croisière où des personnes infectées ont été confirmées ont été discutés. Tu peux voir ça.

(2) Depuis le 14 février, des mots liés aux tendances de l'administration japonaise tels que «contre-mesures», «annonces» et «réponses» sont apparus fréquemment, et il peut être confirmé que les sujets d'intérêt pour les utilisateurs ont changé. De plus, dans le graphique présenté dans [Détails des données](#Détails des données), le nombre de tweets a fortement augmenté depuis le 14 février environ. Les utilisateurs devraient être plus intéressés par les tendances administratives que par les dommages causés par le nouveau virus corona.

③ Concernant le 26 février, l'article précédent indiquait que la cause était inconnue en raison de l'augmentation du nombre de tweets. Ici, il existe de nombreux mots fréquemment utilisés liés à des événements tels que «tenue», «conférence», «événement» et «report». À partir de là, il est probable que le nombre de tweets et le nombre de RT ont augmenté en réponse au fait que l'événement intéressant l'utilisateur a été reporté en raison de l'influence du nouveau virus corona.

De plus, de (1) à (3) ci-dessus, on considère que les utilisateurs ont tendance à être plus intéressés par les choses qui se produisent plus près d'eux. (Wuhan et bateaux de croisière-> Réponse du gouvernement-> Report des événements, et le contenu est familier (directement lié) dans l'ordre.)

④ Après le 23 mars, le mot «Tokyo» est apparu fréquemment. On pense que cela est dû à l'augmentation rapide du nombre de personnes infectées à Tokyo. Aussi, dans le graphique présenté dans [Détails des données](# Détails des données), le nombre de tweets a fortement augmenté depuis cette date, ce qui montre qu'il y a un grand intérêt pour les tendances à Tokyo. ..

⑤ Du 6 au 7 avril, des déclarations d'urgence ont été évoquées dans plusieurs villes dont Tokyo. On pense que de nombreux utilisateurs se sont intéressés au contenu car il est étroitement lié à la vie quotidienne en raison de la demande de s'abstenir de sortir et de la fermeture de divers magasins.

⑥ Les 19 février, 30 mars et 23 avril, il y a des «Messages sur le bateau de croisière de Kentaro Iwata», «Les nouvelles de Ken Shimura» et «Les nouvelles de Kumiko Okae», qui sont des mots fréquemment utilisés chaque jour. Vous pouvez voir que cela affecte. De plus, chaque jour du graphique affiché dans [Détails des données](#Data Details), les pics peuvent être observés sur plusieurs jours. De là, nous pouvons voir que de nombreux utilisateurs s'intéressent à ces sujets depuis plusieurs jours. En outre, les sujets personnels sont probablement moins d'actualité que les sujets qui affectent de nombreux utilisateurs.

Prédire le nombre de RT à partir de la signification des tweets

Ici, en quantifiant le contenu du tweet et en construisant un modèle qui prédit le nombre de RT (quelle popularité), le nombre de RT diffère-t-il en fonction du contenu du tweet et des mots inclus? Vérifier.

Vue d'ensemble du modèle à construire

Ici, le contenu du tweet est quantifié par TF-IDF, et le nombre de RT est prédit par Light GBM.

TF-IDF Il existe de nombreux articles de commentaires sur le Web, veuillez donc les consulter pour plus de détails [^ 1] [^ 2]. Qualitativement, il s'agit "d'une quantification de l'importance de chaque mot dans une phrase", et pour chaque tweet, un vecteur de dimensions égales au nombre de mots inclus dans tous les tweets peut être obtenu. En conséquence, dans cet ensemble de données, TF-IDF a obtenu une matrice de 79562 tweets x 5236 6 dimensions.

Light GBM Pour plus de détails, veuillez consulter les commentaires sur le Web [^ 3] [^ 4]. Ce modèle est une extension de l'arbre de décision et peut être utilisé pour la régression et la classification. En outre, les dimensions qui ont contribué à la régression / classification peuvent être facilement sorties, et en combinant avec TF-IDF, «quel contenu a contribué au nombre de RT» peut être facilement saisi.

Cette fois, 80% des tweets de l'ensemble de données ont été utilisés pour l'apprentissage du modèle, et les 20% restants ont été utilisés pour vérifier l'exactitude et la contribution de chaque dimension (test). Par conséquent, le problème que LightGBM prédit cette fois peut être interprété comme "quel est le contenu qui intéresse les utilisateurs à tout moment concernant le nouveau virus corona".

train_data = lgb.Dataset(x_train, label=y_train)
test_data = lgb.Dataset(x_test, label=y_test, reference= train_data)

params = {
    'task': 'train',
    'boosting_type': 'gbdt',
    'objective': 'regression'
}

gbm = lgb.train(
    params,
    train_data
)

preds = gbm.predict(x_test)

résultat

Évaluer quantitativement dans quelle mesure le modèle entraîné peut prédire le nombre de RT. Ici, nous utilisons les indicateurs d'erreur moyenne absolue (MAE) et d'erreur quadratique moyenne (RMSE), qui sont fréquemment utilisés pour évaluer les modèles de régression qui prédisent des valeurs numériques. Je laisserai les détails de chacun à l'article de commentaire. Il est facile de dire que plus la valeur est petite, plus la prédiction est précise.

Ici, à quel point est-il bon simplement en regardant les valeurs numériques de chaque indice d'évaluation? Par conséquent, il est nécessaire de le comparer avec un autre modèle. Cette fois, nous comparons le modèle (BaseLine) qui "prédit toujours que le nombre RT de tous les tweets est le nombre RT moyen de l'ensemble de données (1429,36)".

Dans le tableau ci-dessus, BaseLine dépasse LightGBM dans tous les index d'évaluation, ce qui suggère que le nombre de RT ne peut pas être prédit avec une grande précision à partir du contenu du tweet (TF-IDF + LightGBM).

En outre, sortons l'importance de la fonctionnalité exprimée par le nombre d'apparitions dans les feuilles de Light BGM de chaque dimension.

importance = pd.DataFrame(gbm.feature_importance(), 
                index=x_condition.get_feature_names(), columns=['importance'])
display(importance.sort_values("importance", ascending=False).head(100))

Plus le mot est élevé dans le tableau ci-dessus, plus il peut être interprété comme un mot que Light BGM a jugé important pour prédire le nombre de RT. Cependant, "Korona", "rt", "com (URL?)", Etc. sont inclus dans de nombreux tweets quel que soit le nombre de RT, et il peut être confirmé qualitativement que LightGBM n'a pas été appris avec précision. D'un autre côté, par exemple, «comédien» est probablement un mot extrait d'un tweet sur Ken Shimura, et on pense également que LightGBM a capturé la caractéristique mentionnée ci-dessus selon laquelle «un sujet individuel important fait un pic». Peut être fait.

Sur la base de ce qui précède, LightGBM n'a pas réussi à résoudre avec succès le problème de «quel est le contenu qui intéresse les utilisateurs à tout moment concernant le nouveau virus corona», et sur la base de l'analyse des mots fréquents mentionnés ci-dessus, «symptômes causés par le virus». "Tendances au Japon" "Report des événements" ... Alors que les intérêts des utilisateurs changent, Il a été suggéré qu'il n'y avait aucun contenu sur le nouveau virus corona qui dit: "Les tweets avec ce contenu attireront toujours l'attention des utilisateurs à tout moment."

Résumé

Dans cet article, les points suivants ont été suggérés.

―― À partir des mots fréquents des tweets et de la transition du nombre de tweets par jour, sur l'intérêt de l'utilisateur --Sur les sujets impliquant des personnalités éminentes, il y a un pic local du nombre de tweets liés au cours de plusieurs jours, mais la baisse est rapide.

• Les utilisateurs sont plus intéressés par les sujets car ils sont plus proches d'eux. Étonnamment, les utilisateurs sont plus intéressés par le report de l'événement que par la maladie infectieuse elle-même ou la réponse du gouvernement.

――Il n'y a aucun contenu qui augmentera sûrement le nombre de RT quelle que soit l'heure.

À l'avenir, nous effectuerons une analyse en utilisant les informations utilisateur sur la base de l'hypothèse que "les tweets envoyés par des utilisateurs bien connus tels que le nombre de followers et les comptes officiels attireront l'attention de nombreux utilisateurs, et il sera plus facile d'attirer l'attention des utilisateurs" je veux faire

[^ 1]: Référence TF-IDF (1): https://qiita.com/AwaJ/items/5937665d5a4152cc24cf [^ 2]: Référence TF-IDF (2): https://dev.classmethod.jp/articles/yoshim_2017ad_tfidf_1-2/ [^ 3]: Référence LightGBM (1): https://www.codexa.net/lightgbm-beginner/ [^ 4]: Référence LightGBM (2): https://qiita.com/ryo_naka/items/f479e5b7cb49fb55f150