J'ai essayé de créer un environnement capable d'acquérir, de stocker et d'analyser les données de tweet en WSL (bash)

Contexte

Dans l'environnement Windows, nous avons construit un environnement ** pour acquérir, stocker et analyser les données de tweet, nous l'avons donc organisé sous forme de mémorandum. Surtout, en ** analyse, je voulais effectuer facilement des opérations sur fichiers ** (en utilisant grep, sed, awk, python, etc.), donc [WSL (Windows Subsystem for Linux)](https: // ja. Wikipedia.org/wiki/Windows_Subsystem_for_Linux) a été activé et ** bash (ubuntu) ** a été introduit.

1. 1. Aperçu de la procédure

«Nous avons décidé de réaliser une série d'environnements ** sur WSL1 bash **. --Pour WSL, Installons le sous-système Windows pour Linux (WSL1)! a été présenté comme référence. TimeCette fois, je voulais utiliser MongoDB pour les opérations sur les fichiers, j'ai donc construit un bash avec ** ubuntu 18.04 **, qui a déjà utilisé MongoDB sur WSL1.

2. Procédure détaillée

lié à python

Quant à python lui-même, il a été introduit lors de l'introduction d'ubuntu, il n'est donc pas nécessaire de l'installer à nouveau.

--Introduit ** pip3 ** pour l'installation du package

sudo apt install python3-pip
pip3 install pysqlite3 
pip3 install unicodecsv 

--Outils pour l'opération MongoDB à partir de python: ** l'installation de mongo_dao ** est obtenue à partir de odicchi / tweet_learning

pip3 install pymongo
pip3 install tweepy
pip3 install requests requests_oauthlib

Liés au stockage des données

-Pour l'introduction de ** MongoDB **, reportez-vous à Essayez d'utiliser une base de données avec le sous-système Windows pour Linux. , A émis la commande suivante et introduit. Utilisez les points de référence pour savoir comment démarrer et arrêter la base de données.

sudo apt-get install mongodb

-Introduction de ** sqlite3 **

sudo apt-get install sqlite3 

3. 3. Autre

4. Exemple d'exécution

--Dans l'environnement de construction, comme exemple d'exécution, nous publierons le code python utilisé lorsque ** les informations de compte (ID, nom de compte, nom d'écran) ** qu'une certaine personne (ID) suit sont extraites sur Twitter. .. Pour la partie de base du code, nous utilisons Lister les personnes qui ont suivi sur tweepy.

#!/usr/bin/python
import config
import tweepy

#Paramètres de connexion
twitter_conf = {
    'consumer' : {
        'key'    : config.CONSUMER_KEY,
        'secret' : config.CONSUMER_SECRET
    },
    'access'   : {
        'key'    : config.ACCESS_TOKEN,
        'secret' :config.ACCESS_TOKEN_SECRET
    }
}

#Authentification
auth = tweepy.OAuthHandler(
    twitter_conf['consumer']['key'],
    twitter_conf['consumer']['secret'])
auth.set_access_token(
    twitter_conf['access']['key'],
    twitter_conf['access']['secret'])

#initialisation tweepy
api = tweepy.API(auth)
my_info = api.me()

friends_ids = []

id = 'XXXXXXX' #Spécifiez l'ID cible

#Obtenez tous les identifiants des personnes que vous suivez
#Si vous utilisez Cursor, il récupérera tout, mais comme ce n'est pas un tableau, mettez-le dans un tableau
for friend_id in tweepy.Cursor(api.friends_ids, user_id=id).items():
    friends_ids.append(friend_id)

#Obtenez des détails pour chaque 100 ID
for i in range(0, len(friends_ids), 100):
    for user in api.lookup_users(user_ids=friends_ids[i:i+100]):
    	print (str(user.id) + " : " + user.name + " : @" + user.screen_name)

――Pour les informations d'authentification, j'ai créé un fichier appelé ** config.py ** et je suis sorti.

CONSUMER_KEY = "XXXXXX"
CONSUMER_SECRET = "XXXXXX"
ACCESS_TOKEN = "XXXXXX"
ACCESS_TOKEN_SECRET = "XXXXXX"

Article associé

  1. Installons le sous-système Windows pour Linux (WSL1)!
  2. Essayez d'utiliser une base de données avec le sous-système Windows pour Linux
  3. Lien de fichiers entre WSL et Windows
  4. Dressez la liste des personnes que vous avez suivies sur tweepy

Recommended Posts

J'ai essayé de créer un environnement capable d'acquérir, de stocker et d'analyser les données de tweet en WSL (bash)
J'ai essayé de créer un environnement avec WSL + Ubuntu + VS Code dans un environnement Windows
Quand j'ai essayé de créer un environnement Rails sur WSL2 (Ubuntu 20.04LTS), j'ai trébuché et suis tombé.
J'ai essayé de créer une classe qui peut facilement sérialiser Json en Python
J'ai essayé de créer un environnement Ubuntu 20.04 LTS + ROS2 avec Raspberry Pi 4
J'ai essayé de créer un environnement d'apprentissage automatique avec Python (Mac OS X)
[Go + Gin] J'ai essayé de créer un environnement Docker
J'ai essayé de créer un service qui vend des données apprises par machine à une vitesse explosive avec Docker
J'ai essayé de créer un environnement dans lequel le travail dans le conteneur Docker sur le serveur distant peut être effectué directement à partir du code VS local avec une connexion SSH
Créer un environnement Docker qui peut utiliser PyTorch et JupyterLab
J'ai essayé d'illustrer le temps et le temps du langage C
Créer un environnement Python et transférer des données vers le serveur
J'ai essayé d'analyser les données scRNA-seq en utilisant l'analyse des données topologiques (TDA)
J'ai essayé de créer un article dans Wiki.js avec SQL Alchemy
J'ai essayé de construire un modèle d'estimation des titres d'articles susceptibles de faire le buzz avec Qiita
Je l'ai fait parce que je veux des données JSON qui peuvent être utilisées librement dans les démos et les prototypes
[Python] J'ai essayé d'expliquer des mots difficiles à comprendre pour les débutants d'une manière facile à comprendre.
J'ai essayé de créer un environnement serveur qui fonctionne sous Windows 10
J'ai essayé de faire une activité qui définit collectivement les informations de position
J'ai essayé de créer un environnement de MkDocs sur Amazon Linux
traitement pour utiliser les données notMNIST en Python (et essayé de les classer)
[Pandas] J'ai essayé d'analyser les données de ventes avec Python [Pour les débutants]
Créez et essayez un environnement OpenCV et Python en quelques minutes à l'aide de Docker
Je souhaite acquérir et répertorier les données boursières japonaises sans grattage
J'ai essayé de faire 5 modèles de base d'analyse en 3 ans
J'ai essayé d'obtenir et d'analyser les données statistiques de la nouvelle Corona avec Python: données de l'Université John's Hopkins
[Python] J'ai essayé de résumer le type collectif (ensemble) d'une manière facile à comprendre.
J'ai essayé de résumer jusqu'à ce que je quitte la banque et devienne ingénieur
J'ai essayé de résumer Cpaw Level1 & Level2 Write Up d'une manière facile à comprendre
J'ai essayé de développer un formateur qui génère des journaux Python en JSON
J'ai essayé de faire la reconnaissance de caractères manuscrits de Kana Partie 2/3 Création et apprentissage de données
J'ai essayé de vérifier et d'analyser l'accélération de Python par Cython
J'ai comparé l'utilisation de Dash et Streamlit dans l'environnement Docker en utilisant les données de la ligue B
J'ai essayé de créer un environnement de développement Mac Python avec pythonz + direnv
J'ai implémenté le modèle VGG16 avec Keras et essayé d'identifier CIFAR10