J'ai essayé de créer un environnement capable d'acquérir, de stocker et d'analyser les données de tweet en WSL (bash)

Contexte

Dans l'environnement Windows, nous avons construit un environnement ** pour acquérir, stocker et analyser les données de tweet, nous l'avons donc organisé sous forme de mémorandum. Surtout, en ** analyse, je voulais effectuer facilement des opérations sur fichiers ** (en utilisant grep, sed, awk, python, etc.), donc [WSL (Windows Subsystem for Linux)](https: // ja. Wikipedia.org/wiki/Windows_Subsystem_for_Linux) a été activé et ** bash (ubuntu) ** a été introduit.

1. 1. Aperçu de la procédure

«Nous avons décidé de réaliser une série d'environnements ** sur WSL1 bash **. --Pour WSL, Installons le sous-système Windows pour Linux (WSL1)! a été présenté comme référence. TimeCette fois, je voulais utiliser MongoDB pour les opérations sur les fichiers, j'ai donc construit un bash avec ** ubuntu 18.04 **, qui a déjà utilisé MongoDB sur WSL1.

2. Procédure détaillée

lié à python

Quant à python lui-même, il a été introduit lors de l'introduction d'ubuntu, il n'est donc pas nécessaire de l'installer à nouveau.

--Introduit ** pip3 ** pour l'installation du package

sudo apt install python3-pip

Autoriser ** sqlite3 à être accessible ** à partir de python

pip3 install pysqlite3

** unicodecsv ** peut être utilisé

pip3 install unicodecsv

--Outils pour l'opération MongoDB à partir de python: ** l'installation de mongo_dao ** est obtenue à partir de odicchi / tweet_learning

De plus, ** pymongo ** est également requis et introduit avec la commande suivante

pip3 install pymongo

Introduit ** tweepy **, ce qui est pratique pour manipuler les données de tweet à partir de python.

pip3 install tweepy

De plus, des ** packages liés à OAuth ** ont été introduits pour implémenter facilement des opérations liées à l'authentification pour l'exploitation de l'API Twitter.

pip3 install requests requests_oauthlib

Liés au stockage des données

-Pour l'introduction de ** MongoDB **, reportez-vous à Essayez d'utiliser une base de données avec le sous-système Windows pour Linux. , A émis la commande suivante et introduit. Utilisez les points de référence pour savoir comment démarrer et arrêter la base de données.

sudo apt-get install mongodb

-Introduction de ** sqlite3 **

sudo apt-get install sqlite3

3. 3. Autre

** Pour accéder au système de fichiers Windows à partir de WSL **, j'ai fait référence à Liaison de fichiers entre WSL et Windows. Par exemple, si vous souhaitez accéder au lecteur c, il semble que vous puissiez le faire fonctionner avec ** / mnt / c **.

4. Exemple d'exécution

--Dans l'environnement de construction, comme exemple d'exécution, nous publierons le code python utilisé lorsque ** les informations de compte (ID, nom de compte, nom d'écran) ** qu'une certaine personne (ID) suit sont extraites sur Twitter. .. Pour la partie de base du code, nous utilisons Lister les personnes qui ont suivi sur tweepy.

#!/usr/bin/python
import config
import tweepy

#Paramètres de connexion
twitter_conf = {
    'consumer' : {
        'key'    : config.CONSUMER_KEY,
        'secret' : config.CONSUMER_SECRET
    },
    'access'   : {
        'key'    : config.ACCESS_TOKEN,
        'secret' :config.ACCESS_TOKEN_SECRET
    }
}

#Authentification
auth = tweepy.OAuthHandler(
    twitter_conf['consumer']['key'],
    twitter_conf['consumer']['secret'])
auth.set_access_token(
    twitter_conf['access']['key'],
    twitter_conf['access']['secret'])

#initialisation tweepy
api = tweepy.API(auth)
my_info = api.me()

friends_ids = []

id = 'XXXXXXX'　#Spécifiez l'ID cible

#Obtenez tous les identifiants des personnes que vous suivez
#Si vous utilisez Cursor, il récupérera tout, mais comme ce n'est pas un tableau, mettez-le dans un tableau
for friend_id in tweepy.Cursor(api.friends_ids, user_id=id).items():
    friends_ids.append(friend_id)

#Obtenez des détails pour chaque 100 ID
for i in range(0, len(friends_ids), 100):
    for user in api.lookup_users(user_ids=friends_ids[i:i+100]):
    	print (str(user.id) + " : " + user.name + " : @" + user.screen_name)

――Pour les informations d'authentification, j'ai créé un fichier appelé ** config.py ** et je suis sorti.

CONSUMER_KEY = "XXXXXX"
CONSUMER_SECRET = "XXXXXX"
ACCESS_TOKEN = "XXXXXX"
ACCESS_TOKEN_SECRET = "XXXXXX"