J'étais fatigué de Python, alors j'ai analysé les données avec nehan (lié à Corona, est-ce que ce mot est maintenant?)

salutation

Bonjour, c'est sunfish. L'analyse de données à l'aide de Python est devenue populaire ces jours-ci, mais elle est difficile à maîtriser. L'objectif est de lutter avec Python, et l'amélioration commerciale que je souhaitais à l'origine est ici. .. .. Je voudrais présenter un exemple d'analyse de données à l'aide de l'outil graphique "nehan" pour résoudre de tels problèmes.

Rétrospective du nombre d'occurrences d'un mot spécifique à partir des données Twitter

Plus de six mois se sont écoulés depuis que le virus corona est devenu un problème social. Suivons le nombre d'occurrences de ce mot à partir des données du tweet des deux derniers mois.

Les données

nehan peut importer directement des données Twitter, et cette fois j'ai utilisé cette fonction. Je le présenterai plus tard. Tous les jours à partir du 27 juillet 2020 ** 3000 tweets, y compris "Corona" dans le texte du tweet, seront accumulés et des données pour environ 2 mois seront préparées. Cliquez ici pour plus de détails sur les données (https://sunfish.nehan.io/datasources_v2/3424) スクリーンショット 2020-09-28 19.13.12.png

Prétraitement

1. Sélectionnez les colonnes uniquement pour Text et Created_At à utiliser
port_2 = port_1[['Created_At', 'Text']]

スクリーンショット 2020-09-28 19.14.05.png

2. Modifier le type de date Créé_At à
port_3 = port_2.copy()
port_3['Created_At'] = pd.to_datetime(
    port_3['Created_At'], errors='coerce', foramt=None)
port_3['Created_At'] = port_3['Created_At'].map(lambda x: x.date())

スクリーンショット 2020-09-28 19.14.16.png

3. Created_At, qui ne peut pas être changé en type de date, a une valeur manquante, supprimez donc chaque ligne.
port_4 = port_3.copy()
port_4 = port_4.dropna(subset=None, how='any')

スクリーンショット 2020-09-28 19.14.31.png

Agréger le nombre de mots par jour

4. Filtrer sur les tweets contenant des mots spécifiques
port_5 = port_4[(port_4['Text'].str.contains('grappe', na=False, regex=False))]

スクリーンショット 2020-09-28 19.14.53.png

5. Agréger quotidiennement
port_9 = port_5.copy()
port_9 = port_9.groupby(['Created_At']).agg(
    {'Created_At': ['size']}).reset_index()
port_9.columns = ['Created_At', 'Nombre de lignes']

スクリーンショット 2020-09-28 19.15.09.png

Visualisez et considérez

Cluster

スクリーンショット 2020-09-28 19.17.44.png Le mot «grappe» est largement reconnu comme un symbole d'infection explosive. La raison pour laquelle il a volé le 8/9 est probablement due au [Festival du cluster] tenu à Shibuya (https://news.yahoo.co.jp/articles/76e47dc2ce6608e018fe37bc92be296e381f76fa?page=1).

[Masque Aveno](https://sunfish.nehan.io/projects/d2b98c5d-ef62-476d-81a5-f7ffff5c4ce7/nodes/node_6LbZiiiO7U569CmOj2hZ/visualize/xzmYA2dBkJKvyONwXpYA2dBkJKvyONwXpYA2dBkJKvyONwXp

スクリーンショット 2020-09-28 19.17.57.png J'ai aussi regardé ce mot, ce qui m'a rendu nostalgique.

Autolimitation

スクリーンショット 2020-09-28 19.18.11.png Un nouveau style de vie prend racine, mais il semble que l'humeur de la retenue ne soit pas complètement terminée. On dirait qu'il diminue progressivement.

Résumé

Afin d'obtenir des résultats précis, je dois vraiment faire plus de prétraitement, mais j'ai essayé de traiter les données simplement pour une observation grossière et une introduction de nehan. Le code source ci-dessus est une copie du code produit par la [fonction d'exportation python] de nehan (https://prtimes.jp/main/html/rd/p/000000004.000044237.html).

Recommended Posts

J'étais fatigué de Python, alors j'ai analysé les données avec nehan (lié à Corona, est-ce que ce mot est maintenant?)
J'en ai marre de Python, alors j'ai essayé d'analyser les données avec nehan (je veux aller vivre même avec Corona) -Partie 2)
J'en ai marre de Python, alors j'ai essayé d'analyser les données avec nehan (je veux aller vivre même avec Corona) -Partie 1)
J'ai essayé d'obtenir et d'analyser les données statistiques de la nouvelle Corona avec Python: données de l'Université John's Hopkins
Analyse des données de pratique Python Résumé de l'apprentissage que j'ai atteint environ 10 avec 100 coups
[Python Data Frame] Lorsque la valeur est vide, remplissez-la avec la valeur d'une autre colonne.
En voici une, je vais résumer les applications équipées "d'intelligence artificielle" qui m'intéressaient
[New Corona] Le prochain pic est-il en décembre? J'ai essayé l'analyse des tendances avec Python!
[Python & SQLite] J'ai analysé la valeur attendue d'une course avec des chevaux dans la fourchette 1x win ②
J'ai réfléchi à la raison pour laquelle Python self est nécessaire avec le sentiment d'un interpréteur Python
Un mémo que j'ai touché au magasin de données avec python
J'ai essayé de trouver l'entropie de l'image avec python
Essayez de gratter les données COVID-19 Tokyo avec Python
J'ai essayé la "correction gamma" de l'image avec Python + OpenCV
J'ai écrit la grammaire de base de Python dans Jupyter Lab
J'ai évalué la stratégie de négociation du système boursier avec Python.
L'histoire du rubyiste aux prises avec Python :: Dict data with pycall
[Homologie] Comptez le nombre de trous dans les données avec Python
[Python] J'ai essayé de collecter des données en utilisant l'API de wikipedia
J'ai réussi le test d'analyse de données Python, j'ai donc résumé les points
Je souhaite générer une sortie lors de la conversion de la valeur du type (par exemple, datetime) qui n'est pas pris en charge lors de la sortie de json avec python
J'ai fait quelque chose avec python qui NOW LOADING se déplace de gauche à droite sur le terminal
J'ai acheté et analysé la loterie jumbo de fin d'année avec Python qui peut être exécutée dans Colaboratory
Le dernier NGINX est un serveur d'applications! ?? J'ai mesuré le benchmark de NGINX Unit avec PHP, Python, Go! !!
J'ai essayé de gratter le classement du calendrier de l'avent Qiita avec Python
Le 14 mars est le jour du rapport de circonférence. L'histoire du calcul du ratio de circonférence avec python
Je veux sortir le début du mois prochain avec Python
Visualisez la fréquence des occurrences de mots dans les phrases avec Word Cloud. [Python]
[Super basiques de Python] J'ai appris les bases des bases, donc je l'ai résumé brièvement.
J'ai essayé d'améliorer l'efficacité du travail quotidien avec Python
L'histoire de la création d'un module qui ignore le courrier avec python
Comme c'est le 20e anniversaire de la formation, j'ai essayé de visualiser les paroles de Parfum avec Word Cloud
J'ai aimé le tweet avec python. ..
J'ai remplacé le calcul numérique de Python par Rust et comparé la vitesse
Essayez d'imaginer les données d'élévation du National Land Research Institute avec Python
J'ai essayé d'obtenir le code d'authentification de l'API Qiita avec Python.
J'ai 0 ans d'expérience en programmation et je défie le traitement des données avec python
J'ai fait GAN avec Keras, donc j'ai fait une vidéo du processus d'apprentissage.
J'ai essayé de rationaliser le rôle standard des nouveaux employés avec Python
Découvrez le nom de la méthode qui l'a appelée à partir de la méthode qui est python
J'ai essayé d'obtenir les informations sur le film de l'API TMDb avec Python
[Introduction à Python] Quelle est la méthode de répétition avec l'instruction continue?
J'ai mesuré la vitesse de la notation d'inclusion de liste, pendant et pendant avec python2.7.
[Python] J'ai créé une application qui télécharge automatiquement le fichier audio de chaque mot utilisé pour l'application d'étude d'anglais.
Python> set> Convertir avec set ()> dictionary n'est que la clé> On m'a appris à convertir les valeurs du dictionnaire en set / dir ({}) / help ({}) / help ({} .valeurs)
Je suis un amateur le 14e jour de python, mais je veux essayer l'apprentissage automatique avec scicit-learn