Vérification de la différence et de la compatibilité entre keras et tf.keras # 1

Fin du développement de Keras

Cela fait un moment que je ne l'ai pas posté. Comme vous pouvez le voir sur github, le multi-backend Keras semble avoir terminé son développement en avril 2020. Il sera remplacé par Keras dans Tensorflow à l'avenir. keras-team (Pour plus de commodité, Keras multi-backend est appelé mb-keras et Tensorflow Keras est appelé tf-keras.) Je voudrais comparer et vérifier mb-keras et tf-keras dans cet article.

• Je voudrais garder cette fois le numéro 1 et ajouter des articles si nécessaire.

À propos de la prise en charge de Tensorflow pour mb-keras

Comme mentionné dans github mentionné ci-dessus, il semble qu'il prenne en charge jusqu'à Tensorflow 2.0. Au 4 mai 2020, au moment de la rédaction de cet article, le dernier stabilisateur de Tensorflow est 2.1.0.

environnement

En écrivant cet article, j'ai réinstallé Tensorflow à partir de CUDA, etc., mais j'ai créé un environnement médiocre. mb-keras prend en charge jusqu'à Python 3.6 ... (tensorflow prend en charge jusqu'à Python 3.7) mb-keras 2.3.1 prend en charge jusqu'à tensorflow 2.0, donc c'est bien.

python -V
3.7.6

>>> import keras
>>> keras.__version__
'2.3.1'
>>> import tensorflow
>>> tensorflow.__version__
'2.0.0'

alias

C'est fondamentalement la même chose, juste un flux tenseur au début.

mb-keras

from keras.layers import Dense, Conv2D

tf-keras

from tensorflow.keras.layers import Dense, Conv2D

Compatibilité des objets

Probablement pas **. Cependant, il n'y a pas besoin de compatibilité ... Vérifiez avec le code ci-dessous.

A propos du modèle et du calque

def mb_layers():
    from keras.layers import Input, Dense, Activation
    input_l = Input(shape=(64,))
    hidden = Dense(10)(input_l)
    output_l = Activation('softmax')(hidden)
    return input_l, output_l
def tf_layers():
    from tensorflow.keras.layers import Input, Dense, Activation
    input_l = Input(shape=(64,))
    hidden = Dense(10)(input_l)
    output_l = Activation('softmax')(hidden)
    return input_l, output_l

if __name__ == '__main__':
    mb_i, mb_o = mb_layers()
    tf_i, tf_o = tf_layers()
    
    from keras.models import Model as mbModel
    from tensorflow.keras.models import Model as tfModel
    
    # mb_in_tf = mbModel(tf_i, tf_o) #---- ※1
    # tf_in_mb = tfModel(mb_i, mb_o) #---- ※2
    mb_in_mb = mbModel(mb_i, mb_o)
    mb_in_mb.summary()               #---- ※3
    tf_in_tf = tfModel(tf_i, tf_o)
    tf_in_tf.summary()               #---- ※4

• 1 Une erreur d'exécution se produit (placez la couche tf-keras dans le modèle mb-keras) TypeError: object of type 'Dense' has no len()
• 2 Une erreur d'exécution s'est produite (insérez la couche mb-keras dans le modèle tf-keras) AttributeError: 'tuple' object has no attribute 'layer'
• 3 Résultat d'exécution

stdout

Model: "model_7"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_23 (InputLayer)        (None, 64)                0         
_________________________________________________________________
dense_14 (Dense)             (None, 10)                650       
_________________________________________________________________
activation_12 (Activation)   (None, 10)                0         
=================================================================
Total params: 650
Trainable params: 650
Non-trainable params: 0
_________________________________________________________________

• 4 Résultat d'exécution

stdout

Model: "model_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_24 (InputLayer)        [(None, 64)]              0         
_________________________________________________________________
dense_14 (Dense)             (None, 10)                650       
_________________________________________________________________
activation_11 (Activation)   (None, 10)                0         
=================================================================
Total params: 650
Trainable params: 650
Non-trainable params: 0
_________________________________________________________________

La forme de sortie de InputLayer est différente, mais peut-elle être implémentée avec la même architecture? Je veux le vérifier à partir de la prochaine fois. Pour le moment, il semble que la création de Layer soit différente entre mb-keras et tf-keras, il est donc certain qu'il ne peut pas être jeté dans Model.

À propos de l'Optimizer

L'optimiseur peut utiliser l'optimiseur tf-keras pour les modèles réalisés avec mb-keras.

model.compile

    from keras.optimizers import Adam as mbAdam
    from tensorflow.keras.optimizers import Adam as tfAdam
    mb_in_mb.compile(tfAdam(), 'mse')    #----※1
    tf_in_tf.compile(mbAdam(), 'mse')    #----※2

• 1 ne provoque pas d'erreur.
• 2 est l'erreur suivante. ValueError: ('Could not interpret optimizer identifier:', <keras.optimizers.Adam object at 0x000001A4FC663F08>)

À propos des couches utilisables

Cela semble être tout à fait différent. ○ est implémenté, × n'est pas implémenté. Notez que tous ne sont pas des calques, car nous venons de disposer ceux extraits par dir () presque tels quels. En regardant la différence de Attention, tf-keras est-il plus avancé en révision et en abolition? (Méthode de remplacement et toutes les lettres minuscules sont des fonctions, donc je les ai supprimées de la liste)

• Wrapper est implémenté dans mb-keras.

Ce résumé

Il s'avère que mb-keras et tf-keras sont presque incompatibles. Cependant, je n'en ressens pas le besoin.

Comme un cas qui semble être un problème, mb-keras prend en charge jusqu'à Python 3.6, il ne sera donc pas pris en charge même si Python est mis à jour à l'avenir. D'autre part, tf-keras continuera à être développé. Si vous avez créé un système d'IA qui utilise mb-keras, vous pouvez être dépassé par le temps, vous devriez donc immédiatement envisager de le remplacer par tf-keras. Voici un exemple concret qui vient à l'esprit en premier: ** Un modèle entraîné créé avec mb-keras peut-il être chargé avec tf-keras et déduit? ** Toka Toka ··· (Je veux enregistrer après le # 2 quand je ne sais pas quand.)

En fait, je viens de construire un système d'IA en interne avec mb-keras avant GW ... Si vous pensez que keras n'a pas été mis à jour récemment, c'est l'endroit où aller. J? ai compris ...