Créez un environnement d'analyse de données avec Kedro + MLflow + Github Actions

introduction

Contexte

** = "Problèmes lors de la création d'un bloc-notes qui est tout dans un fichier dans un environnement local pour chaque expérience (lightgbm_02_YYYYMMDD.ipynb, etc.)" **

Ce que j'ai fait

Introduction de Kedro en tant qu'outil de pipeline

icon_kedro.png ### Qu'est-ce que Kedro? ・ Méthode d'introduction * (Référence) [Introduction au pipeline d'apprentissage automatique avec Kedro](https://qiita.com/noko_qii/items/2395d3a3dbcd9410e5e7)

Bonne chose

$ kedro jupyter notebook --allow-root --port=8888 --ip=0.0.0.0 &
from kedro.framework.context import load_context
proj_path = '../../../' 
context = load_context(proj_path)
# df = catalog.load("XXX")
parameters = context.params

Les défis restants

Introduction de MLflow en tant qu'outil de gestion d'expériences

icon_mlflow.png ### Qu'est-ce que MLflow? ・ Méthode d'introduction * (Référence) [Introduction à la gestion des expériences avec MLflow](https://future-architect.github.io/articles/20200626/)

Bonne chose

Les défis restants

Introduction des actions Github en tant qu'outil CI

icon_githubaction.png ### Qu'est-ce que les actions Github? ・ Méthode d'introduction * (Référence) [CI / CD pour essayer avec la nouvelle fonction "GitHub Actions" de GitHub](https://knowledge.sakura.ad.jp/23478/)

Bonne chose

Les défis restants

Autre

en conclusion

Recommended Posts

Créez un environnement d'analyse de données avec Kedro + MLflow + Github Actions
Créer un environnement d'analyse de données qui relie l'authentification GitHub et Django avec JupyterHub
Créer un environnement d'analyse de données python sur Mac (El Capitan)
Créez un environnement d'expérimentation / d'analyse psychologique confortable avec PsychoPy + Jupyter Notebook
Créer un Ubuntu de démarrage USB avec un environnement Python pour l'analyse des données
Créez facilement un environnement de développement avec Laragon
Créer un environnement Tensorflow avec Raspberry Pi [2020]
Créez un environnement d'API rapide avec docker-compose
[Linux] Créer un environnement Jenkins avec Docker
Créez un environnement virtuel pour python avec pyenv
Créez un environnement Python moderne avec Neovim
[Linux] Construction de l'environnement Docker avec Amazon Linux 2
Créer un environnement de développement de langage C avec un conteneur
Créez un environnement WardPress sur AWS avec Pulumi
Préparer un environnement de langage de programmation pour l'analyse des données
Créez un environnement python avec ansible sur centos6
[Python] Créer un environnement de développement Django avec Docker
Créer un environnement de construction python3 avec Sublime Text3
Créez un environnement Django avec Vagrant en 5 minutes
[Memo] Créez un environnement virtuel avec Pyenv + anaconda
Créez un environnement virtuel avec pyenv et venv
Créer un environnement de développement Django à l'aide de Doker Toolbox
Construire un environnement Python avec OSX Elcapitan
Créez rapidement un environnement Python Django avec IntelliJ
Créer un environnement d'apprentissage automatique Python avec des conteneurs
Créer un environnement d'exécution python avec VS Code
Analyse de données avec python 2
Analyse de données avec Python
Créez un environnement virtuel python avec virtualenv et virtualenvwrapper
Créez un environnement python pour chaque répertoire avec pyenv-virtualenv
Construction d'un environnement d'analyse de données avec Python (notebook IPython + Pandas)
Créer un environnement de développement d'applications d'apprentissage automatique avec Python
Créez un environnement virtuel python avec virtualenv et virtualenvwrapper
Créez un environnement de développement avec Poetry Django Docker Pycharm
Construire un environnement Django pour Win10 (avec espace virtuel)
Construire un environnement de calcul numérique avec pyenv et miniconda3
Créez un environnement de science des données de base (Jupyter, Python, R, Julia, bibliothèque standard) avec Docker.
Créez un environnement de développement Django avec Docker! (Docker-compose / Django / postgreSQL / nginx)
Créer des pipelies Azure avec Azure DevOps dans un environnement auto-hébergé Linux
Créez un environnement d'apprentissage automatique scikit-learn avec VirtualBox et Ubuntu
[Memo] Construire un environnement de développement pour Django + Nuxt.js avec Docker
Créez un environnement de développement Go avec les conteneurs distants de VS Code
Créer un environnement LAMP [CentOS 7]
(Maintenant) Construisez un environnement GPU Deep Learning avec GeForce GTX 960
Créer un environnement python3 avec ubuntu 16.04
Construire un environnement python avec direnv
[Django] Créez rapidement un environnement de développement de conteneur Django (Docker) avec PyCharm
Testé de pipenv avec des actions GitHub
Créez un environnement de développement confortable avec VSCode x Remote Development x Pipenv
Créer un environnement Python et transférer des données vers le serveur
Créer un environnement qui se construit automatiquement avec Github Actions (version Android)
Créer un environnement d'apprentissage automatique
Comment créer un environnement de développement de la série Python2.7 avec Vagrant
Créer un environnement python avec pyenv (OS X El Capitan 10.11.3)
<Python> Construisez un serveur dédié pour l'analyse des données Jupyter Notebook
Créer une application Todo avec Django ① Créer un environnement avec Docker
Créer un environnement Python hors ligne
Créez un environnement LAMP avec Vagrant (Linux + Apache + MySQL + PHP)
Créer un environnement Python avec WSL + Pyenv + Jupyter + VSCode
Créez un environnement Python 2.7 64 bits avec TDM-GCC et MinGW-w64 sous Windows 7
Créez un environnement Python sur votre Mac avec Anaconda et PyCharm