>>> gpt2.generate(sess)
Cells in the body of a whale are often used as a means to induce sleep in some whales. But in the case of a whale, this particular type of whale is known as a cusps whale because it is usually about the size of a human hair.

The, or humpback whale, is one of the largest cusps whales in the world. It is an extremely large, highly muscled, and highly territorial mammal, with a very large mouth and, in some sections, white, skinned head.

...

«Northeast Regional» 188 (United Station) à destination du nord qui exploite le corridor(Washington D. C .)Départ de la gare Pennsylvania(New York)To) a quitté la 30th Street Station de Philadelphie. Le train est ACS, qui a fabriqué 7 voitures particulières il y a un an.-Locomotive électrique type 64( No . 601 )Remorquait.

Environ 11 minutes plus tard, le train circule sur la ligne principale de plusieurs lignes au sud-est de, près de l'intersection de Frank Ford Avenue et Wheatseef Lane dans le district de Port Richmond, à 4 degrés (environ 440 m de rayon). ) Entré dans la courbe de gauche.
Accident de déraillement d'Amtrack 2015

# pip install tensorflow==
ERROR: Could not find a version that satisfies the requirement tensorflow== (from versions: 2.2.0rc1, 2.2.0rc2)
ERROR: No matching distribution found for tensorflow==

Lorsque j'installe la dernière version pour le moment et que je continue, l'erreur suivante se produit.

# python3 src/generate_unconditional_samples.py | tee /tmp/samples
Traceback (most recent call last):
  File "src/generate_unconditional_samples.py", line 9, in <module>
    import model, sample, encoder
  File "/target/src/model.py", line 3, in <module>
    from tensorflow.contrib.training import HParams
ModuleNotFoundError: No module named 'tensorflow.contrib'

Après examen, `` 'tensorflow.contrib' 'semble être [obsolète] dans tensorflow 2.x (https://github.com/tensorflow/tensorflow/issues/31350#issuecomment-518749548) ... Il n'y a aucune aide pour cela, alors passez à l'installation depuis dockerfile. Ici, l'image de tensorflow / tensorflow: 1.12.0-py3 est utilisée. Si vous laissez tomber tous les modèles, il sera lourd, alors modifiez-le pour que seul le modèle le plus léger soit abandonné.

Dockerfile.cpu

FROM tensorflow/tensorflow:1.12.0-py3

ENV LANG=C.UTF-8
RUN mkdir /gpt-2
WORKDIR /gpt-2
ADD . /gpt-2
RUN pip3 install -r requirements.txt
RUN python3 download_model.py 124M

Si vous pouvez le modifier, il sera exécuté sur le CPU pour le moment, il ressemble donc à ce qui suit ...

docker build --tag gpt-2 -f Dockerfile.cpu .
docker run -it gpt-2 bash

export PYTHONIOENCODING=UTF-8
python3 src/generate_unconditional_samples.py | tee /tmp/samples

Ensuite, j'ai eu l'erreur ʻAttributeError: module'tensorflow 'n'a pas d'attribut'sort'. Après examen, il semble que le tensorflow 1.12.0 doit être modifié pour importer tf.contrib.framework.sort... Cela semble fonctionner si vous utiliseztensorflow 1.14.0`, donc cette fois je voudrais modifier le côté du fichier docker.

Dockerfile.cpu

#Parce que c'est un gros problème, 1.J'en ai fait la dernière version de la série x
FROM tensorflow/tensorflow:1.15.2-py3

ENV LANG=C.UTF-8
RUN mkdir /gpt-2
WORKDIR /gpt-2
ADD . /gpt-2
RUN pip3 install -r requirements.txt
RUN python3 download_model.py 124M

Donc, si vous jetez un second coup d'œil et que vous l'exécutez, vous obtiendrez la sortie suivante de lie article!

python3 src/generate_unconditional_samples.py | tee /tmp/samples
======================================== SAMPLE 1 ========================================
 — President Donald Trump tweeted on Saturday that he would not do it again in the 2017 budget.

"Of course, and I bet WA will accept my debt — but if a bad story develops, they'll tell me as long as I am cutting deduction for health care," Trump tweeted on December 19.

If a bad story develops, they'll tell me as long as I am reducing deduction for health care. — President Donald Trump (@realDonaldTrump) December 19, 2017  

The first budget request "is building around a debt epidemic for $3.5 trillion," according to CNN. The problem, it turns out, is that Trump would work with 
Republicans to pass a debt-ceiling increase, despite claims that the written framework can't be passed.

The budget would create $11.1 trillion in government debt, according to PPP , Russia, and China – which have agreed on a plan to get rid of regulations on corporate taxes as part of a five-year plan which includes massive cuts to subsidies for growth to deal with the looming financial crisis.

Today's budget contradicts Cliff's upcoming budget agreement, which to...

Certes, même le plus petit modèle peut créer un article qui semble ... incroyable. Maintenant que j'ai finalement déplacé l'échantillon, j'aimerais le laisser apprendre ensuite.

Apprendre avec GPT-2

Pour être honnête, il y a trop peu d'endroits à expliquer, donc c'est assez difficile ... C'est peut-être parce que ce n'est pas abusé ...

Utilisation du corpus japonais

Le numéro 104, 114 indique le corpus On dit qu'il s'agit de Byte_pair_encoding. Si vous souhaitez créer votre propre modèle, reportez-vous à This person's way et [Sentence Piece](https: / (/github.com/google/sentencepiece) semble bon.

Cette fois, nous emprunterons le modèle BERT tiré du Wikipedia japonais de M. Possible. Télécharger Modèle formé ...