[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 2: importer des données dans SQL Server à l'aide de PowerShell

Dès le début du tutoriel

Analyse Python en base de données pour les développeurs SQL

Étape précédente

Étape 1: Téléchargez des exemples de données

L'étape suivante

Étape 3: Recherche et visualisation des données

Étape 2: importer des données dans SQL Server à l'aide de PowerShell

Dans cette étape, vous exécuterez le script téléchargé RunSQL_SQL_Walkthrough.ps1 pour créer les objets de base de données nécessaires au didacticiel et importer les exemples de données.

Création d'objets et chargement de données

Exécutez le script PowerShell RunSQL_SQL_Walkthrough.ps1 dans les fichiers téléchargés pour préparer l'environnement du didacticiel. Ce script exécute les actions suivantes:

--Installez SQL Native Client et l'utilitaire de ligne de commande SQL s'ils ne sont pas déjà installés. Ceux-ci sont nécessaires pour le chargement de données en masse à l'aide de bcp.

--Créez une base de données et une table dans votre instance SQL Server et chargez-y les données en masse.

--Créez plus de fonctions et de procédures stockées.

Script de lancement

  1. En tant qu'administrateur, ouvrez une invite de commandes PowerShell et exécutez la commande suivante:

    .\RunSQL_SQL_Walkthrough.ps1
    

Vous serez invité à saisir les informations suivantes:

  1. Tous les scripts T-SQL ont été modifiés pour remplacer la base de données et les noms d'utilisateur spécifiés dans le cadre des étapes ci-dessus par des espaces réservés.

  2. Assurez-vous que les procédures stockées et les fonctions créées par le script T-SQL sont créées dans la base de données.

    T-Fichier de script SQL Procédure / fonction mémorisée
    create-db-tb-upload-data.sql Créez une base de données et quatre tables.

    tablenyctaxi_sample:Le jeu de données principal NYC Taxi est créé. Les données chargées sont un échantillon de 1% de l'ensemble de données NYC Taxi. La définition de l'index de stockage de colonnes en cluster améliore l'efficacité du stockage et les performances des requêtes.

    tablenyc_taxi_models:Un modèle analytique avancé formé est enregistré.

    tablenyctaxi_sample_training:L'ensemble de données utilisé pour entraîner le modèle est créé.

    tablenyctaxi_sample_testing:L'ensemble de données utilisé pour tester le modèle est enregistré.
    fnCalculateDistance.sql Fonction de valeur scalaire qui calcule la distance directe entre la position d'embarquement et la position de débarquementfnCalculateDistanceCréer un.
    fnEngineerFeatures.sql Une fonction table qui renvoie un jeu de valeurs de fonction pour l'entraînement du modèlefnEngineerFeaturesCréer un.
    TrainingTestingSplit.sql nyctaxi_Données dans l'exemple de table, nyctaxi_sample_formation et nyctaxi_sample_Procédure pour diviser en deux testsTrainingTestingSplitCréer un.
    PredictTipSciKitPy.sql Scikit pour la prédiction à l'aide du modèle-Procédure pour appeler le modèle entraîné créé par learnPredictTipSciKitPyCréer un. La procédure accepte une requête comme paramètre d'entrée et renvoie une colonne de nombres contenant le score de la ligne d'entrée.
    PredictTipRxPy.sql Procédures pour appeler des modèles entraînés créés avec RevoScalePy pour la prédiction basée sur un modèlePredictTipRxPyCréer un. La procédure accepte une requête comme paramètre d'entrée et renvoie une colonne de nombres contenant le score de la ligne d'entrée.
    PredictTipSingleModeSciKitPy.sql Scikit pour la prédiction à l'aide du modèle-Procédure pour appeler le modèle entraîné créé par learnPredictTipSingleModeSciKitPyCréer un. Cette procédure stockée prend de nouvelles observations en entrée, accepte des valeurs de caractéristiques individuelles en tant que paramètres en ligne et renvoie des prédictions pour les nouvelles observations.
    PredictTipSingleModeRxPy.sql Scikit pour la prédiction à l'aide du modèle-Procédure pour appeler le modèle entraîné créé par learnPredictTipSingleModeRxPyCréer un. Cette procédure stockée prend de nouvelles observations en entrée, accepte des valeurs de caractéristiques individuelles en tant que paramètres en ligne et renvoie des prédictions pour les nouvelles observations.
    SerializePlots.sql Procédure de récupération des donnéesSerializePlotsCréer un. Cette procédure stockée utilise Python pour créer des graphiques et sérialiser des objets graphiques.
    TrainTipPredictionModelSciKitPy.sql scikit-Procédure de formation d'un modèle de régression logistique par learnTrainTipPredictionModelSciKitPyCréer un. Ce modèle est entraîné en utilisant 60% de données sélectionnées au hasard pour prédire la valeur exploitée (s'il faut ou non obtenir une puce). La sortie de la procédure stockée est un modèle entraîné, une tablenyc_taxi_modelsSera enregistré dans.
    TrainTipPredictionModelRxPy.sql Procédure de formation d'un modèle de régression logistique avec RevoScalePyTrainTipPredictionModelRxPyCréer un. Ce modèle est entraîné en utilisant 60% de données sélectionnées au hasard pour prédire la valeur exploitée (s'il faut ou non obtenir une puce). La sortie de la procédure stockée est un modèle entraîné, une tablenyc_taxi_modelsSera enregistré dans.

    sqldev-python-browsetables1-gho9o9.png

    [!NOTE]

Le script T-SQL ne recrée pas l'objet de base de données, donc s'il existe déjà, les données seront dupliquées. Par conséquent, supprimez l'objet existant avant d'exécuter à nouveau le script.

** Important **: Redéfinition de certains objets

Après avoir effectué les étapes ci-dessus, exécutez le SQL suivant pour redéfinir certains objets. ** Les spécifications de RevoScalePy ont changé lors de la mise à niveau de SQL Server 2017 CTP vers SQL Server 2017 RC, et la principale raison de cette redéfinition est de s'adapter à ces changements. ** **

Lien

L'étape suivante

Étape 3: Recherche et visualisation des données

Étape précédente

Étape 1: Téléchargez des exemples de données

Dès le début du tutoriel

Analyse Python en base de données pour les développeurs SQL

La source

Step 2: Import Data to SQL Server using PowerShell

Article connexe

Machine Learning Services with Python

Recommended Posts

[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 2: importer des données dans SQL Server à l'aide de PowerShell
[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 6: Utilisation du modèle
[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 1: Télécharger des exemples de données
[Didacticiel d'analyse Python en base de données avec SQL Server 2017]
[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 5: Formation et enregistrement des modèles à l'aide de T-SQL
Analyse de données avec python 2
Analyse de données avec Python
Note de lecture: Introduction à l'analyse de données avec Python
[Livre technique] Introduction à l'analyse de données avec Python -1 Chapitre Introduction-
Accès ODBC à SQL Server depuis Linux avec Python
Analyse de données à l'aide de pandas python
20200329_Introduction à l'analyse de données avec Python 2nd Edition Personal Summary
Je connais? Analyse de données à l'aide de Python ou de choses que vous souhaitez utiliser quand vous le souhaitez avec numpy
Analyse de données à partir de python (visualisation de données 1)
Analyse de données à partir de python (visualisation de données 2)
Introduction à l'analyse de données avec Python P32-P43 [ch02 3.US Baby Names 1880-2010]
Introduction à l'analyse de données par Python P17-P26 [ch02 1.usa.gov données de bit.ly]
Liens vers des personnes qui commencent tout juste l'analyse de données avec python
De la préparation à l'analyse morphologique avec python en utilisant polyglotte au marquage des mots partiels
Convertir des données Excel en JSON avec python
Tutoriel de recommandation utilisant l'analyse d'association (implémentation python)
Convertissez des données FX 1 minute en données 5 minutes avec Python
Connectez votre base de données SQL Server à Alibaba Cloud Function Compute à l'aide de Python
Analyse de données à partir de python (pré-traitement des données-apprentissage automatique)
J'ai essayé l'analyse de données IRMf avec python (Introduction au décodage des informations cérébrales)
Convertir les données csv, tsv en une matrice avec MovieLens en utilisant python comme exemple
Lorsque vous utilisez PyQtGraph avec Python Pyside, faites attention à l'ordre d'importation
Connexion ODBC à FileMaker 11 Server Advanced avec Python 3
J'ai essayé d'obtenir des données CloudWatch avec Python
[Python] Flux du scraping Web à l'analyse des données
Écrire des données CSV sur AWS-S3 avec AWS-Lambda + Python
J'ai créé une fonction pour récupérer les données de la colonne de base de données par colonne en utilisant sql avec sqlite3 de python [sqlite3, sql, pandas]
Analyse de données python
Créez rapidement un tableau de bord d'analyse de données Python avec Streamlit et déployez-le sur AWS
Analyse de données pour améliorer POG 1 ~ Web scraping avec Python ~
Obtenez des données Amazon RDS (PostgreSQL) à l'aide de SQL avec pandas
[Pour les débutants] Comment étudier le test d'analyse de données Python3
Comment récupérer des données d'image de Flickr avec Python
Un moyen facile de gratter avec Python en utilisant Google Colab
Construction d'un environnement d'analyse de données avec Python (notebook IPython + Pandas)
Défiez l'analyse des composants principaux des données textuelles avec Python
Écrire des données dans KINTONE à l'aide du module de requêtes Python
Traiter les données csv avec python (traitement du comptage à l'aide de pandas)
Analyse des composants principaux à l'aide de python de nim avec nimpy
Model.objects.extra à prendre en compte avant d'utiliser du SQL brut avec Django
Analyse des données à l'aide de xarray
Présentation de l'analyse de données python
Analyse vocale par python
Modèle d'analyse de données Python
[Tutoriel Python] Structure des données
Importer tsv avec Python
Analyse vocale par python
Serveur local avec python
Je veux pouvoir analyser des données avec Python (partie 3)
écran et écran partagé avec connexion python et ssh au serveur distant
J'ai essayé de créer diverses "données factices" avec Python faker
Premiers pas avec python3 # 3 Essayez des calculs avancés à l'aide de l'instruction d'importation
Je veux pouvoir analyser des données avec Python (partie 1)