Remarques sur l'importation de données depuis MySQL ou CSV avec Python

Notes minimales

environnement

Pour le moment, python2.7.x.

Veuillez consulter ici pour savoir comment confirmer l'existence en premier lieu.

MySQL

Utilisez mysql-connector-python

Il est difficile de décider quel module utiliser pour communiquer avec MySQL, mais pour le moment, utilisez mysql-connector-python.

#coding:utf-8

import mysql.connector 

con = mysql.connector.connect(
		host='localhost',
		db='testdb',
		user='root',
		password='root'
	)

cur = con.cursor(buffered=True)

sql = "select * from members"

cur.execute(sql)

rows = cur.fetchall()

for row in rows:
	print row[1]

cur.close()
con.close()

CSV

csv(utf-8)

Il n'y a rien à craindre avec les fichiers séparés par des virgules utf-8.

#coding:utf-8

import csv

file = "test.csv"

f = open(file,"r")

reader = csv.reader(f)

for row in reader:
	print row[0]

f.close()

csv (sjis ou cp932)

Il est courant que le csv créé par Excel soit envoyé et dit «Lire! Vous n'avez pas le temps de l'examiner en détail, mais pour le moment, vous pouvez le lire en procédant comme suit.

#coding:utf-8

import csv

file = "test2.csv"

f = open(file,"r")

reader = csv.reader(f)

for row in reader:
	print row[0].decode('cp932')

f.close()

Fichier brut

Pour une raison quelconque, vous ne pourrez peut-être pas vous passer du traitement du fichier brut.

Fractionner normalement

Strip () est utilisé pour supprimer le saut de ligne à la fin de la ligne.

#coding:utf-8

f = open('test.csv','r')

for row in f:
	item = row.strip().split(',')
	print item[0]

f.close()

Fractionner avec une expression régulière

Si vous souhaitez utiliser une expression régulière, utilisez re.split (motif, chaîne).

#coding:utf-8

import re

f = open('test.csv','r')

for row in f:
	item = re.split(',',row)
	print item[0]

f.close()

Autre

Le reste est lié aux pandas. Je voudrais l'ajouter de temps en temps.

Recommended Posts

Remarques sur l'importation de données depuis MySQL ou CSV avec Python
Recevoir des données textuelles de mysql avec python
Obtenez des données de VPS MySQL avec Python 3 et SQL Alchemy
[Bases de la science des données] J'ai essayé d'enregistrer de csv à mysql avec python
[Python] Notes sur l'analyse des données
Remarques sur l'utilisation de MeCab depuis Python
Remarques sur la gestion de grandes quantités de données avec python + pandas
Notes sur l'utilisation de rstrip avec python.
Remarques sur l'accès à dashDB à partir de python
[Note] Obtenir des données de PostgreSQL avec Python
Remarques sur la réalisation de l'OCR japonais avec Python
Connexion de python à MySQL sur CentOS 6.4
Faisons la manipulation des données MySQL avec Python
Intégration de données depuis l'application Python sur Linux vers Amazon Redshift avec ODBC
Intégration de données depuis l'application Python sur Windows vers Amazon Redshift avec ODBC
Sortie CSV de la recherche Google avec [Python]! 【Facile】
[Python] Conversion de DICOM en PNG ou CSV
Folium: Visualisez les données sur une carte avec Python
Générez une instruction d'insertion à partir de CSV avec Python.
Écrire des données CSV sur AWS-S3 avec AWS-Lambda + Python
Convertir JSON en CSV avec Python de Splunk
Essayez d'importer des données MLB sur Mac et Python
Connectez-vous à MySQL avec Python sur Raspberry Pi
Extraire des données d'une page Web avec Python
Remarque pour oct2py appelant le script Octave depuis Python
(Notes diverses) Modèle de mise à jour des données à partir de l'acquisition / traitement des données CSV par Python vers Excel
Analyse de données avec python 2
Touchez MySQL depuis Python 3
Python depuis ou import
Utilisez MySQL depuis Python
Utiliser MySQL depuis Python
Analyse de données avec Python
Lecture de données CSV à partir du code Python de stockage d'objets DSX
Comment récupérer des données d'image de Flickr avec Python
Remarques sur le traitement d'images HDR et RAW avec Python
Manipuler des fichiers Excel à partir de python avec xlrd (mémo personnel)
Commande Yum pour accéder à MySQL avec Python 3 sous Linux
Interagissez avec Python sur Android à partir d'un PC via adb
Traiter les données csv avec python (traitement du comptage à l'aide de pandas)
[Bases de la science des données] Collecte de données depuis RSS avec python
Obtenir des données de la base de données via ODBC avec Python (Access)
Supprimer les en-têtes de fichiers CSV à plusieurs formats avec python
Exemple de données créées avec python
OpenJTalk sur Windows10 (parler japonais avec Python depuis la construction de l'environnement)
Extraire les données Twitter avec CSV
Obtenez des données Youtube avec python
Utiliser MySQL depuis Anaconda (python)
Notes d'apprentissage sur l'analyse des données Python
[Python] Extrayez des données texte à partir de données XML de 10 Go ou plus.
Remarques sur l'installation de Python sur votre Mac
[Python / Ruby] Comprendre le code Comment obtenir des données en ligne et les écrire au format CSV
Technique élégante pour coller des données CSV dans Excel avec Python
Comment connaître le nombre de GPU de python ~ Remarques sur l'utilisation du multitraitement avec pytorch ~
Résumé Xpath lors de l'extraction de données d'un site Web avec Python Scrapy
Écrire en csv avec Python
Obtenez des données de l'API d'analyse avec le client API Google pour python
Collecte d'informations sur Twitter avec Python (intégration de MySQL et Python)
Remarques sur le déploiement de pyenv avec Homebrew et la gestion des versions de Python
Avec skype, notifiez avec skype de python!
Télécharger le fichier csv avec python