[Twitter] Je veux faire des tweets téléchargés (de mon compte) dans un beau CSV

Sur Twitter, "Paramètres"> "Comptes"> "Données Twiter"> "Télécharger l'archive" Comme vous le savez, il existe une fonction pour télécharger tous vos tweets passés. スクリーンショット 2019-12-07 17.53.12.png

Le fichier téléchargé contient des informations sur les tweets précédents, les tweets RT, les tweets aimés, les messages directs, etc. (Il semble que vous puissiez naviguer en ouvrant index.html qui est généralement téléchargé ensemble, mais dans mon cas, index.html n'a pas été téléchargé. Pourquoi?)


2019/12/15 postscript
Il semble que index.html a été remplacé par une spécification qui n'a pas été téléchargée en premier lieu.

Pratique pour visualiser vos propres tweets tout en comprenant BERT ↑ J'ai remarqué après avoir lu cet article. ↓ (Référence) [Résolu] Je ne peux pas télécharger tout l'historique des tweets sur Twitter [Méthode]


Si vous voulez faire du text mining ou une sorte d'analyse, vous voudrez probablement lire tweet.json. Dans cet article, nous traiterons ce fichier json en un csv facile à utiliser pour l'analyse morphologique. Le csv à créer est composé de deux colonnes, "time stamp" et "text body".

Image de CSV qui peut être finalement créée n5v579QliBDG6o51575723317_1575723341.png

environnement Python 3.6.5 Mac OS Mojave 10.14.4

pandas==0.23.0

Quand j'ouvre le json téléchargé, je pense qu'il ressemble à ceci. tLvy3PlzlPJ2Khh1575731228_1575731416.jpg

Rouge souligné

window.YTD.tweet.part0 = 

N'est pas nécessaire, veuillez donc le supprimer. Puis changez l'extension en .txt et placez-la dans votre répertoire de travail.

read_dl_tweet.py


import pandas as pd
import json

tweets_file = open("tweet.txt", "r")
tweet = json.load(tweets_file)

Ouvrez json en tant que dataframe pandas dans le script ci-dessus. Il existe de nombreuses colonnes, mais seules les colonnes nécessaires sont extraites.

read_dl_tweet.py


df = tweet_data_frame.loc[:,["created_at","full_text"]]

Puisqu'il y a des caractères gênants tels que des sauts de ligne et des virgules lors de la création de csv, supprimez-les. Cela ne fonctionnait pas sans regex = True.

read_dl_tweet.py


df = df.replace(['\n',',','	','\r'],'',regex=True)

De plus, le format de l'horodatage est sous une forme qui ne peut pas être utilisée pour le tri, corrigez-le pour en faciliter la lecture. J'ai pu le convertir en un seul coup avec la méthode to_datetime des pandas.

read_dl_tweet.py


df_date = pd.to_datetime(df["created_at"])
df["date_form"] = df_date
df_sorted = df.sort_values("date_form") 
df_text_date = df_sorted.loc[:,["date_form","full_text"]]

Trié par horodatage nouvellement créé.

read_dl_tweet.py


df_text_date.to_csv("df_text_date.csv", header=False, index=False,sep=',',encoding='utf-16')

Modifiez les options lors de la sortie de csv selon vos besoins (par exemple en faisant du délimiteur une tabulation).

Dans Article suivant, je vais essayer de représenter graphiquement le nombre de tweets pour chaque période à partir du csv créé.

Ce code: https://github.com/KanikaniYou/plot_tweet_graph

Recommended Posts

[Twitter] Je veux faire des tweets téléchargés (de mon compte) dans un beau CSV
Je veux vérifier la position de mon visage avec OpenCV!
J'ai essayé de créer un script qui retrace les tweets d'un utilisateur spécifique sur Twitter et enregistre l'image publiée à la fois
Je veux exprimer mes sentiments avec les paroles de Mr. Children
Python: je souhaite mesurer proprement le temps de traitement d'une fonction
Je veux faire de matplotlib un thème sombre
Je veux INSÉRER un DataFrame dans MSSQL
Je veux faire un jeu avec Python
Je veux faire des crises de ma tête
Je souhaite personnaliser l'apparence de zabbix
L'histoire de l'adresse IPv6 que je souhaite conserver au minimum
Je souhaite définir un cycle de vie dans la définition de tâche d'ECS
Je veux ajouter du silence pendant 1 seconde au début d'un fichier wav
Je souhaite voir une liste de fichiers WebDAV dans le module Requêtes
Obtenez le nombre de tweets liés à un certain mot-clé à l'aide de l'API Twitter
Comment faire un Raspberry Pi qui parle les tweets d'un utilisateur spécifié
J'ai refactoré "J'ai essayé de faire un script qui enregistre les images postées à la fois en retournant sur les tweets d'un utilisateur spécifique sur Twitter".
J'ai essayé de faire quelque chose comme un chatbot avec le modèle Seq2Seq de TensorFlow
Je veux bien comprendre les bases de Bokeh
Je souhaite prendre une capture d'écran du site sur Docker en utilisant n'importe quelle police
Je souhaite installer un package de Php Redis
L'explication la plus simple au monde sur la création de LINE BOT (1) [Account preparation]
Je souhaite augmenter la sécurité de la connexion SSH
Notez ce que vous voulez faire à l'avenir avec Razpai
Je souhaite produire une carte thermique magnifiquement personnalisée de la matrice de corrélation. édition matplotlib
Je veux créer un éditeur de blog avec l'administrateur de django
Je veux démarrer beaucoup de processus à partir de python
Je veux faire une macro de clic avec pyautogui (désir)
Je souhaite utiliser uniquement le traitement de normalisation SudachiPy
Je veux obtenir des informations sur le fonctionnement de Yahoo Route
Je veux faire une macro de clic avec pyautogui (Outlook)
[Python] J'ai essayé de visualiser la relation de suivi de Twitter
Je veux déterminer l'authenticité d'un élément du tableau numpy
Je veux connaître la nature de Python et pip
Je veux rendre le type de dictionnaire dans la liste unique
[Visualisation] Je veux dessiner un beau graphique avec Plotly
Keras Je veux obtenir la sortie de n'importe quelle couche !!
Je veux connaître la légende du monde des technologies informatiques
Je veux ajouter un joli complément à input () en python
Je veux créer un Dockerfile pour le moment.
Comment connecter le contenu de la liste dans une chaîne de caractères
J'ai essayé de créer un site qui permet de voir facilement les informations mises à jour d'Azure
[Premier grattage] J'ai essayé de créer un personnage VIP pour Smash Bra [Beautiful Soup] [En plus, analyse de données]
Je veux clarifier la question de la méthode "__init__" et de l'argument "self" de la classe Python.
Je souhaite extraire les informations d'étiquette (titre et artiste) d'un fichier de musique (flac, wav).
Je veux obtenir le nom de la fonction / méthode en cours d'exécution
[Pytorch] Je souhaite attribuer manuellement les paramètres d'entraînement du modèle
J'ai essayé de créer un système qui ne récupère que les tweets supprimés
J'ai essayé de créer une expression régulière de "montant" en utilisant Python
Je veux lire la version html de la version "OpenCV-Python Tutorials" OpenCV 3.1
J'ai essayé de créer une expression régulière de "temps" en utilisant Python
Je voulais convertir ma photo de visage en un style Yuyu.
[Introduction à StyleGAN] J'ai joué avec "The Life of a Man" ♬
Je veux sortir le début du mois prochain avec Python
J'ai essayé de créer une expression régulière de "date" en utilisant Python
Je veux créer un système pour éviter d'oublier de serrer la clé 1
[Introduction] Je veux créer un robot Mastodon avec Python! 【Débutants】
Je souhaite créer une liste de paramètres à partir du code CloudFormation (yaml)
Je veux faire de la deuxième ligne le nom de la colonne dans pandas