Cet article est l'article du 9ème jour du Calendrier de l'Avent du Groupe Mixie 2019

Aperçu

(Résumé de 3 lignes)

Je souhaite surveiller la précision des tâches de formation en apprentissage automatique et comparer les modèles de manière agréable.
Amazon SageMaker fournit des graphiques de métriques CloudWatch, mais c'est difficile à voir ...
Il aurait été bien de collecter des métriques avec le SDK SageMaker ou votre propre code et de placer les données métriques et les graphiques au même emplacement (S3) que le modèle.

Défi: innocent:

Amazon SageMaker fournit des graphiques basés sur des métriques CloudWatch pour la surveillance des métriques des tâches de formation (https://aws.amazon.com/jp/blogs/news/easily-monitor-and-visualize-metrics- while -training-models-on-amazon-sagemaker /) et apparaissent désormais également dans les détails du travail dans la console de gestion C'est facile à configurer, mais personnellement, c'est une impression difficile pour la surveillance des mesures d'algorithme, telles que la fluidité du journal (fréquence de sortie), l'échelle et la notation des unités.

L'axe horizontal est fixé par le temps
Le dessin en unités d'époque n'est pas possible
Le graphique de l'axe des temps est déformé en raison des performances de l'instance, etc.
Vous pouvez manipuler manuellement la plage de temps pour faire la mise au point, mais elle est inexacte
Les parcelles sont espacées d'au moins 1 minute et le dessin est approximatif
L'axe vertical est fixé autour de la valeur mesurée de la métrique et l'échelle n'est pas uniforme.
Difficile de comparer visuellement les emplois
Sentiment de fonctionnement strict ...

Action 1: utilisez l'API SageMaker SDK (Python): détendue:

Utilisez le TrainingJobAnalytics du SDK SageMaker (https://sagemaker.readthedocs.io/en/stable/analytics.html#sagemaker.analytics.TrainingJobAnalytics) pour obtenir les données et contrôler le dessin vous-même La source de données reste CloudWatchLogs (pas fondamentalement résolue), mais ** la lisibilité peut être considérablement améliorée **

Vous pouvez le dessiner dans le bloc-notes Jupyter pendant l'entraînement, ou vous pouvez le dessiner dans le code de l'appelant Estimator à l'heure normale ou à l'heure de fin et l'enregistrer sur place.

`analytics.py`



metric_names = ['train:loss','validation:loss']

metrics_dataframe = sagemaker.analytics.TrainingJobAnalytics(
    training_job_name=training_job_name,
    metric_names=metric_names,
    period=60, #1 min est la valeur limite
).dataframe()

#Formatage du dataframe
...

plt = metrics_dataframe_fixed.plot(
    kind='line', 
    figsize=(20,15), 
    fontsize=18,
    x='timestamp', 
    y=[metric_names[0],metric_names[1]], 
    xlim=[0, 2000],
    ylim=[0.1, 0.5],
    style=['b.-','r+-'], 
    rot=45,
 )
plt.figure.savefig('metrics_training_job_xxx.png')
plt.clf()

Ce que tu peux faire

Convertissez les données métriques en DataFrame pour ajuster le dessin à votre goût
L'échelle et la taille verticales et horizontales peuvent être spécifiées
La position de départ du dessin peut être alignée
Peut être géré dans le code, vous pouvez donc jouer avec
Peut être pris à des points fixes pendant la formation et notifié régulièrement
Si vous mettez le graphique dessiné ensemble dans le stockage du modèle (S3), cela aidera à l'évaluation du modèle.

Cette méthode peut également être utilisée dans l'algorithme intégré de SageMaker

Choses impossibles

Les données elles-mêmes restent les mêmes (basées sur CloudWatch)
L'axe horizontal ne peut être que le temps
L'intervalle de tracé reste le même (intervalle maximum d'une minute)

Action 2: Dessinez un graphique dans votre propre point d'entrée ou votre propre algorithme: blush:

SageMaker a officiellement 4 façons, mais cadre ML fourni par Amazon Container et [Case using original container](https://docs.aws.amazon.com/ja_jp/ Avec sagemaker / latest / dg / your-algorithms.html), vous pouvez périodiquement dessiner et générer un graphique de la situation d'entraînement avec votre propre code de programme et l'envoyer à S3.

J'ai bien peur d'utiliser SageMaker mais pas les fonctionnalités de surveillance fournies, mais si je ne peux pas l'obtenir dans le format que je veux, je dois le prendre dans le conteneur (car j'écris moi-même le script de point d'entrée et mon propre algorithme ML). , L'effort pour ajouter un dessin graphique au code que vous connaissez n'est pas si grand)

Ce que tu peux faire

Peut être défini librement à partir de données métriques
Peut être émis en unités d'époque, etc.
Vous pouvez dessiner comme vous le souhaitez
L'échelle et la taille verticales et horizontales peuvent être spécifiées
La position de départ du dessin peut être alignée
Peut être géré dans le code, vous pouvez donc jouer avec
Peut être pris à des points fixes pendant la formation et notifié régulièrement
Si vous mettez le graphique dessiné ensemble dans le stockage du modèle (S3), cela aidera à l'évaluation du modèle.

Choses impossibles

Ne touchez pas au code Cette méthode ne peut pas être utilisée avec Algorithme intégré

Flux de processus

Il est étonnamment difficile «où envoyer le graphique dessiné à l'intérieur du conteneur et comment partager la destination de placement du graphique (chemin S3) à l'intérieur et à l'extérieur du conteneur», mais la méthode suivante peut être utilisée comme exemple.

Définissez la destination de sortie du modèle ML pour chaque tâche d'entraînement sur S3
Définissez un emplacement pour les «conditions» au même endroit et mettez un fichier JSON contenant des informations sur le modèle.
Définissez un emplacement pour les «métriques» au même endroit et utilisez-le comme un emplacement pour placer les données de métriques et les graphiques dessinés.
Passez le chemin «conditions» en tant que «entrées» à l'estimateur et commencez la formation
Exécutez l'algorithme de formation dans le conteneur SageMaker
Dans la tâche d'entraînement, reportez-vous au JSON dans conditions et assemblez le chemin de destination de sortie du modèle
Exécutez la formation, sortez le journal de progression et dessinez un graphique
Téléchargez les données du graphique dessiné (point fixe) vers la destination de placement du graphique S3 metrics
Traitez le graphique téléchargé sur S3 comme vous le souhaitez
Toujours surveiller, envoyer des notifications, etc.

Exemple de code

`train_task.py`



#génération de conditions, formation_job_Nom de l'enregistrement
dict_conditions = { "training_job_name" : training_job_name }
s3_conditions_path = '/model/{}/conditions/training_job_config.json'.format(training_job_name)
boto3.resource('s3').Object(bucket,s3_conditions_path).put(Body=json.dumps(dict_conditions))

#Remettre les conditions à la formation de sagemaker
Estimator.fit(
    job_name=training_job_name,
    inputs={'train_data':s3_train_data_path,'conditions':s3_conditions_path},
)

`train_entrypoint.py`



# Estimator.obtenir le nom du travail d'entraînement à partir des conditions transmises par l'appelant fit
#(Le chemin correspondant à la clé dict des entrées passées est généré et le fichier est placé)
input_conditions = '/opt/ml/input/data/conditions/training_job_config.json'
with open(input_conditions) as f:
    conditions = json.load(f)
    training_job_name = input_conditions['training_job_name']

#Définition du chemin du graphe
graph_name = 'training_history_{}.png'.format(metrics)
graph_outpath = '{}/{}'.format(output_path,graph_name)
s3_graph_outpath = '/model/{}/metrics/{}'.format(training_job_name,graph_name)

#Dessiner et enregistrer un graphique (exemple keras)
history = model.fit(...)
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model loss')
plt.legend(['training', 'validation'], loc='upper right')
plt.figure.savefig(graph_outpath)
plt.clf()

#S3 Envoyer (mettre à jour) le graphique au compartiment pour enregistrer les résultats de la tâche d'entraînement
boto3.resource('s3').Bucket(bucket).upload_file(graph_outpath,s3_graph_outpath)

Comme indiqué dans le code, permet de passer training_job_name avec json dans la partie qui appelle Estimator of sagemaker, et à partir des informations partagées, la destination de sortie de la métrique pour chaque travail d'entraînement est au format spécifié ( s3: // {bucket } / Model / {training_job_name} / metrics / {graph_name} .png)

À part: dessiner avec TensorBoard

Dans l'action 2, vous pouvez écrire le code librement, de sorte que vous pouvez générer le journal pour TensorBoard, le synchroniser avec le compartiment spécifié de S3 et le dessiner en vous référant au journal sur S3 de TensorBoard lancé avec Notebook Instance, etc. Masu

`train_entrypoint_keras.py`



tensorboard_log_outpath = '{}/{}'.format(output_path,tensorboard_log_name)

tensorboard_callback = keras.callbacks.TensorBoard(
    log_dir=tensorboard_log_outpath, 
    histogram_freq=1)
callbacks = [tensorboard_callback]

model.fit(..., callbacks=callbacks)

boto3.resource('s3').Bucket(bucket).upload_file(
    tensorboard_log_outpath, s3_tensorboard_log_outpath)

`notebook.py`


tensorboard --logdir={s3_tensorboard_log_outpath}

Il est possible de dessiner avec d'autres outils de votre choix, mais je pense qu'il vaut mieux prendre une méthode bien équilibrée basée sur le coût de gestion.

Résumé: blush:

Comme je l'ai mentionné à plusieurs reprises en cours de route, les options que vous pouvez prendre diffèrent selon Comment utiliser SageMaker.

Algorithme intégré ou Marketplace /sagemaker/latest/dg/sagemaker-marketplace.html)
Utilisez l'action 1
Dessinez avec TrainingJobAnalytics pour obtenir des données métriques et améliorer la lisibilité.
Les données sont limitées par les spécifications CloudWatch
Point de terminaison d'origine ou Algorithme d'origine /sagemaker/latest/dg/your-algorithms.html)
Utilisez l'action 1 ou l'action 2
Peut collecter des données métriques et dessiner des graphiques dans son propre algorithme
Peut être lié à d'autres outils via S3, etc.

Actions 1 et 2 Pour les deux, ** je pense qu'il est plus facile de gérer en téléchargeant les données métriques (Dataframe et log) et l'image graphique dessinée sur le même S3 que le stockage du modèle **.

Je souhaite organiser les métriques à comparer afin qu'elles puissent être jugées en un coup d'œil avec la même définition.

référence

[Surveillance et visualisation faciles des métriques lors de la formation des modèles avec Amazon SageMaker](https://aws.amazon.com/jp/blogs/news/easily-monitor-and-visualize-metrics- while-training -modèles-sur-amazone-sagemaker /)
Guide du développeur Amazon SageMaker, Surveillance et analyse des tâches de formation à l'aide de métriques
Guide du développeur Amazon SageMaker, Définition des métriques
SageMaker Python SDK : Analytics
Keras: Visualisation de l'historique d'entraînement

Comment améliorer la surveillance des métriques de modèle avec Amazon SageMaker

Aperçu

Défi: innocent:

Action 1: utilisez l'API SageMaker SDK (Python): détendue:

analytics.py

Ce que tu peux faire

Choses impossibles

Action 2: Dessinez un graphique dans votre propre point d'entrée ou votre propre algorithme: blush:

Ce que tu peux faire

Choses impossibles

Flux de processus

Exemple de code

train_task.py

train_entrypoint.py

À part: dessiner avec TensorBoard

train_entrypoint_keras.py

notebook.py

Résumé: blush:

référence

`analytics.py`

`train_task.py`

`train_entrypoint.py`

`train_entrypoint_keras.py`

`notebook.py`