Préparation à l’essai de «Data Science 100 Knock (traitement des données structurées)»

Résumé

La Data Scientist Association https://www.datascientist.or.jp/ a publié "Data Science 100 Knock (Structured Data Processing)". Enregistrez le travail pour essayer la version Python de Jupyter Notebook sur un PC avec Windows 10 Home Edition, Anaconda (2020.02) installé, sans installer Docker.

Qu'est-ce que "Data Science 100 Knock (traitement de données structurées)"?

Ce sera une collection de questions avec les données présentées ci-dessous (3 langues, avec réponses). https://digitalpr.jp/r/39499

J'ai un docker

Mon environnement -PC est Windows 10 Famille. Bien qu'il soit pris en charge par Docker Toolbox. -La mémoire est de 8 Go. -Depuis qu'Anaconda a été installé, Python et Jupyter Notebook fonctionnent. Tout d'abord, j'ai pensé à essayer ce qui se passerait si je n'installais pas Docker.

Télécharger des fichiers Zip depuis GitHub

Accédez à la première page du projet. Par exemple, la première page de ce "Data Science 100 Knock" est ci-dessous. https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess

Cliquez maintenant sur "Code vert" sur la droite. image.png

Cliquez ensuite sur Télécharger le ZIP. image.png

Téléchargement PC 100knocks-preprocess-master.zip est téléchargé sur Florda. image.png

Lorsque vous décompressez le zip, le contenu est le suivant. image.png

Tout ce dont j'ai besoin est un code avec la question, un ensemble de données et un code de réponse.

Par exemple, le code pour Jupyter Notebook est ci-dessous. image.png

Par exemple, les données sont ci-dessous. image.png

Déplacez le dossier entier sous MyPython (le dossier qui contient le code Python). image.png

Lancez Jupyter Notebook

image.png

Dossier Allez dans MyPython → 100knocks-preprocess-master → docker → work. image.png

Cliquez sur preprocess_knock_Python.ipynb pour l'ouvrir. image.png

Cliquez sur la première boîte de réception pour exécuter Exécuter.

Lorsque vous confirmez l'importation image.png Il reste bloqué avec psycopg2.

Si vous regardez attentivement, certaines bibliothèques ne sont pas installées. Pensez ici. (1) Les installez-vous (il y a une question que vous ne pouvez jamais les utiliser?). (2) Définissez-vous le dataframe vous-même (j'ai le sentiment que je serai en difficulté plus tard si je ne peux pas opérer à partir des données csv).

J'ai décidé de définir moi-même le dataframe.

L'importation est utilisée telle quelle (à l'exclusion des bibliothèques qui ne sont pas installées) et geocode.csv contient des données vides, j'ai donc défini le type.

import os
import pandas as pd
import numpy as np
from datetime import datetime, date
from dateutil.relativedelta import relativedelta
import math

from sklearn import preprocessing
from sklearn.model_selection import train_test_split

df_customer = pd.read_csv('data/customer.csv')
df_category = pd.read_csv('data/category.csv')
df_product = pd.read_csv('data/product.csv')
df_receipt = pd.read_csv('data/receipt.csv')
df_store = pd.read_csv('data/store.csv')
df_geocode = pd.read_csv('data/geocode.csv',\
    converters={'prefecture':str,'city':str,'town':str,'street':str,'address':str})

Les exercices peuvent être réalisés à leur manière. image.png

Site référencé

Un environnement d'apprentissage pratique pour les débutants en science des données "Data Science 100 Knock (Structured Data Processing)" est disponible gratuitement sur GitHub: https://digitalpr.jp/r/39499

Recommended Posts

Préparation à l’essai de «Data Science 100 Knock (traitement des données structurées)»
"Data Science 100 Knock (traitement de données structurées)" Explication Python-007
"Data Science 100 Knock (traitement des données structurées)" Explication Python-001
"Data Science 100 Knock (traitement des données structurées)" Explication Python-002
[Python] 100 coups sur la science des données (traitement de données structurées) 021 Explication
"Data Science 100 Knock (traitement des données structurées)" Explication Python-005
"Data Science 100 Knock (traitement de données structurées)" Explication Python-004
[Python] 100 coups sur la science des données (traitement de données structurées) 020 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 025 Explication
"Data Science 100 Knock (traitement des données structurées)" Explication Python-003
[Python] 100 coups sur la science des données (traitement de données structurées) 019 Explication
Construction d'environnement (Windows 10) pour 100 coups de science des données (traitement de données structurées)
[Python] 100 coups sur la science des données (traitement de données structurées) 001-010 Impressions + résumé du lien de commentaire
C'est pourquoi j'ai quitté les pandas [Data Science 100 Knock (traitement des données structurées) # 2]
C'est pourquoi j'ai quitté les pandas [Data Science 100 Knock (traitement des données structurées) # 1]
C'est pourquoi j'ai quitté les pandas [Data Science 100 Knock (traitement des données structurées) # 5]
C'est pourquoi j'ai quitté les pandas [Data Science 100 Knock (traitement des données structurées) # 4]
C'est pourquoi j'ai quitté les pandas [Data Science 100 Knock (traitement des données structurées) # 6]
[Python] 100 coups sur la science des données (traitement de données structurées) 018 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 023 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 030 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 022 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 017 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 026 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 016 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 024 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 027 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 029 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 015 Explication
[Python] 100 coups sur la science des données (traitement de données structurées) 028 Explication
100 langage traitement knock-92 (utilisant Gensim): application aux données d'analogie
Commentaire sur la science des données à 100 coups (P021 ~ 040)
Commentaire sur la science des données à 100 coups (P061 ~ 080)
Commentaire de la science des données 100 coups (P041 ~ 060)
Commentaire sur la science des données à 100 coups (P081 ~ 100)
Essayez «100 coups sur la science des données» ①
Présentation de livres liés à la science des données.
Essayez de mettre des données dans MongoDB
Se préparer à démarrer le traitement du langage naturel
100 traitement du langage knock-91: Préparation des données d'analogie
Essayez de convertir en données ordonnées avec les pandas
Livres sur la science des données à lire en 2020
[Introduction au modèle SEIR] Essayez d'ajuster les données COVID-19 ♬
Essayez d'utiliser django-import-export pour ajouter des données csv à django
Essayez d'agréger les données de musique doujin avec des pandas
Une personne inexpérimentée en Python essaie de frapper 100 traitement du langage 14-16
Je veux frapper 100 sciences des données avec Colaboratory
Utiliser des décorateurs pour empêcher la ré-exécution du traitement des données
Une personne inexpérimentée en Python essaie de frapper 100 traitement du langage 07-09
Une personne inexpérimentée en Python tente de frapper 100 traitement du langage 10 ~ 13
Une personne inexpérimentée en Python essaie de frapper 100 traitement du langage 05-06
Une personne inexpérimentée en Python essaie de frapper 100 traitement du langage 00-04
100 coups de traitement linguistique (2020): 28
Apprenez la science des données
100 coups de traitement linguistique (2020): 38
100 traitement de la langue frapper 00 ~ 02
Data Science 100 Knock ~ Bataille pour moins que les débutants part6
Data Science 100 Knock ~ Bataille pour moins que les débutants part2
Data Science 100 Knock ~ Bataille pour moins que les débutants part1
Data Science 100 Knock ~ Battle pour moins que les débutants part9
Science des données 100 coups ~ Bataille pour moins que les débutants part7