Ruby Scraping-Move Selenium Headless avec VPS.

Environnement de développement

ruby2.7.1 centos7

procédure

① Ajoutons Gem

gem install gem install selenium-webdriver

② Installez Google Chrome

installer yum install google-chrome-stable Vérifiez la version google-chrome -version

③ Installez Google Chrome

Téléchargez la même version du pilote Chrome que google-chrome sur http://chromedriver.chromium.org/downloads

Vous trouverez ci-dessous une commande de la version 83.0.4103.39 de Google Chrome wget https://chromedriver.storage.googleapis.com/index.html?path=83.0.4103.39/

Déploiement unzip chromedriver_linux64.zip Bouge toi sudo mv chromedriver ~/usr/local/bin/ Changement d'autorisation sudo chmod 755 /usr/local/bin/chromedriver

Prêt

④ Exemple de code utilisant Selenium

scraping.rb


def scraping
  url = 'https://google.com/' #URL que vous souhaitez ouvrir
  options = Selenium::WebDriver::Chrome::Options.new #Nouvelle option
  options.add_argument('--headless') #Option sans tête ajoutée
  options.add_argument('--disable-gpu') #Désactiver le GPU
  options.add_argument('--window-size=4000,4000') #Agrandir l'écran
  driver = Selenium::WebDriver.for :chrome, options: options #Nouveau pilote pour refléter les options
#Scraping code comme vous le souhaitez
.
.
.
.
end

Ajout de --headless et --disable-gpu pour le traitement sans tête pour Linux L'ajout de l'option --window-size = 4000,4000 est écrit car elle ne peut être grattée que dans la partie affichée à l'écran.

* Pour ceux qui créent des outils de trading Bitcoin automatiques (car il y en a beaucoup de nos jours)

Selenium est idéal pour automatiser les sites qui ne disposent pas d'API. Vous n'avez pas besoin de Selenium pour acheter et vendre automatiquement des pièces de monnaie. Je pense qu'il est préférable de le faire en utilisant l'API de Bitflyer comme indiqué ci-dessous. http://benzenetarou.hatenablog.com/entry/bitcoin/automatic_trade/1

Recommended Posts

Ruby Scraping-Move Selenium Headless avec VPS.
Création d'un outil d'automatisation de navigateur avec Ruby + Selenium
Premiers pas avec Ruby
Evolve Eve avec Ruby
Changer de version Ruby avec rbenv
J'ai essayé DI avec Ruby
Client GraphQL commençant par Ruby
Ruby: envoyer des e-mails avec Starttls
Formater Ruby avec VS Code
Comment vérifier les nombres entiers avec ruby
[Ruby] problème avec l'instruction if
Étudier à CodeWar (ruby) ⑤ Proc
Utilisez Ruby avec Google Colab
Premiers pas avec les modules Ruby
[ruby] Appel d'une méthode avec un argument
Installez Ruby sur le VPS de Sakura
[Linux: Ruby] Utilisez le pilote avec sélénium sans spécifier le chemin du pilote du navigateur