[Hinweis] Erstellen Sie eine Python3-Umgebung mit Docker in EC2

Überblick

Inhalt

• Erstellen Sie eine Python-Umgebung mit Docker unter EC2 von AWS
• Dieses Mal werden wir es einschließlich des Pakets für den automatischen Browserbetrieb mit Selen containerisieren.

Umgebung

• OS:AWS Linux2
• Service: AWS (EC2) --Typ: t2.micro

Annahme

--EC2 der oben genannten Umgebung wird von Ihrem Konto aus eingerichtet

Referenzmaterial

• Grundlagen von Docker in Amazon ECS
• Docker Docker-Compose-Befehl
• So registrieren Sie Docker Image bei Docker Hub
• Installieren von Docker und Docker-Compose auf einer AWS EC2-Instanz und Starten eines einfachen WEB-Dienstes

Teilweise aus diesem Bereich extrahiert und erfüllt.

Erforderliche Dateien

• Dockerfile
• docker-compose.yml

Prozess

--Verbinden Sie sich mit der EC2-Instanz

• Aktualisieren Sie die auf der Instanz installierten Pakete und den Paketcache

$ sudo yum update -y

• Installieren Sie das neueste Docker Community Edition-Paket

$ sudo amazon-linux-extras install docker

• Installieren Sie als Nächstes Docker Compose mit Curl.

$ sudo curl -L https://github.com/docker/compose/releases/download/1.21.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose

$ sudo chmod +x /usr/local/bin/docker-compose

$ docker-compose --version

Erfolg, wenn die Version angezeigt wird

• Gestarteter Docker-Dienst

$ sudo service docker start

• Fügen Sie ec2-user zur Docker-Gruppe hinzu und lassen Sie sudo weg, das in zukünftigen Befehlen eingegeben werden soll

$ sudo usermod -a -G docker ec2-user

• Melden Sie sich ab und wieder bei EC2 an, um zu reflektieren
• Bestätigen Sie, dass ec2-user Docker-Befehle ohne Verwendung von sudo ausführen kann

$ docker info

2. Registrieren Sie sich bei Dockerhub

• Registrieren Sie ein Konto bei Docker Hub
  • https://hub.docker.com/

--Erstellen Sie ein Repository

• Melden Sie sich mit EC2 bei Docker Hub an

$ docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username:Kontobezeichnung
Password:Passwort
Login Succeeded

3. Erstellen Sie eine Datei, um ein Docker-Image zu erstellen

• Erforderliche Dateien
  • Dockerfile
  • docker-compose.yml

--Erstellen Sie eine Docker-Datei.

$ touch Dockerfile

--Bearbeiten Sie den Inhalt mit vim

$ vim Dockerfile

• Erstellen Sie dieses Mal einen Bildcontainer, der ein Paket für den automatischen Betrieb von Python3 und des Browsers enthält.

Dockerfile

FROM python:3
USER root

RUN apt-get update
RUN apt-get -y install locales && \
localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
ENV LANG ja_JP.UTF-8
ENV LANGUAGE ja_JP:ja
ENV LC_ALL ja_JP.UTF-8
ENV TZ JST-9
ENV TERM xterm

#Installieren Sie verschiedene Pakete
RUN apt-get install -y vim less
RUN pip install --upgrade pip
RUN pip install --upgrade beautifulsoup4
RUN pip install --upgrade chromedriver
RUN pip install --upgrade chromedriver-binary
RUN pip install --upgrade datetime
RUN pip install --upgrade pandas
RUN pip install --upgrade pyyaml
RUN pip install --upgrade requests
RUN pip install --upgrade selenium

• Kopieren Sie das Obige: Speichern als wq

--Nächste erstellen Sie docker-compose.yml

touch docker-compose.yml

--Dies bearbeitet auch den Inhalt mit vim.

vim docker-compose.yml

docker-compose.yml

version: '3'
services:
  python3:
    restart: always
    build: .
    container_name: 'scrayping'
    working_dir: '/root/'
    tty: true
    volumes:
      - ./opt:/root/opt

• Kopieren Sie das Obige: Speichern als wq

3. Erstellen Sie ein Docker-Image

--Erstellen Sie ein Bild basierend auf dem Inhalt von docker-compose.yml

• Zu diesem Zeitpunkt können Sie nur dann zu Docker Hub wechseln, wenn Sie den auf dem Docker-Hub angegebenen Kontonamen / Image-Namen mit "-t" benennen. Hinweis

$ docker-compose build -t {Dockerhub-Kontoname/Bildname}

--Überprüfen Sie, ob Sie ein Bild erstellen können

$ docker images

REPOSITORY                  TAG                 IMAGE ID            CREATED             SIZE
shunsukenashiki/scrayping   latest              ed6df28c956e        About an hour ago   1.15GB

Es ist in Ordnung, wenn es so gemacht wird

4. Erstellen Sie einen Container basierend auf dem Docker-Image

--Erstellen Sie einen Container basierend auf dem erstellten Docker-Image

• Der Grund für das Hinzufügen von "-d" ist, dass der Container ohne -d nicht im Hintergrund startet.

$ docker run -d --name #{Beliebiger Containername} -d -it {REPOSITORY Name}

--Überprüfen Sie, ob der Container erstellt und gestartet wurde. Wenn Sie es erstellen können, sind Sie fertig

$ docker ps

CONTAINER ID        IMAGE                       COMMAND             CREATED             STATUS              PORTS               NAMES
b42460c71e9c        shunsukenashiki/scrayping   "python3"           5 seconds ago       Up 4 seconds                            scrayping

5. Führen Sie den erstellten Container aus

• Führen Sie den erstellten Container aus

$ docker exec -it #{Beliebiger Containername} bash

• Vervollständigen Sie, wenn die angegebene Version in der Docker-Datei enthalten ist

$ pip3 list

Package         Version
--------------- ---------
beautifulsoup4  4.9.1
certifi         2020.6.20
chardet         3.0.4
chromedriver    2.24.1
DateTime        4.3
idna            2.10
numpy           1.19.1
pandas          1.1.0
pip             20.2.1
python-dateutil 2.8.1
pytz            2020.1
requests        2.24.0
selenium        3.141.0
setuptools      49.2.1
six             1.15.0
soupsieve       2.0.1
urllib3         1.25.10
wheel           0.34.2
zope.interface  5.1.0

Auf Doekerhub hochladen

• Sobald Sie den Vorgang bestätigen können, drücken Sie ihn an Dockerhub

$ docker push shunsukenashiki/{Dockerhub-Kontoname/Bildname}:latest

• Wenn es richtig mit Dockerhub verbunden ist, ist es vollständig. Wenn Sie das Bild danach von hier ziehen, können Sie es wiederverwenden