[RUBY] [Go To Travel] Ich suchte nach einem Plan mit einer Quo-Karte

Verwenden Sie Docker

docker-compose.yml

version: "3.7"
services:
  chrome:
    image: selenium/standalone-chrome
    shm_size: 256m

  backend:
    build:
      context: ./backend
    working_dir: /app
    volumes:
      - ./backend:/app
    command: ash -c "tail -f README.md"

Rails c muss nur möglich sein, also ist Command`` tail -f, damit das Backend nicht endet, selbst wenn Docker-Compose Up

Geben Sie danach mit einem Befehl wie "docker exec -it backend_1 ash" ein.

Rufen Sie von der Schienenseite aus Selen / Standalone-Chrom auf

models/concerns/chromeable.rb

require "selenium-webdriver"
require "capybara"

module Chromeable
  extend ActiveSupport::Concern

  DOCKER_CHROME_SELENIUM_HOST_NAME = "chrome"
  Capybara.register_driver :chrome do |app|
    args = %w[
      --headless
      --disable-gpu
      --window-size=1280,800
      --blink-settings=imagesEnabled=false
    ]

    caps =
      Selenium::WebDriver::Remote::Capabilities.chrome(
        "goog:chromeOptions" => {
          args: args,
          prefs: {
            credentials_enable_service: false,
            profile: { password_manager_enabled: false }
          }
        }
      )

    Capybara::Selenium::Driver.new(
      app,
      browser: :remote,
      desired_capabilities: caps,
      url: "http://#{DOCKER_CHROME_SELENIUM_HOST_NAME}:4444/wd/hub"
    )
  end

  included {}

  module ClassMethod; end

  def create_session
    session = Capybara::Session.new(:chrome)
    if block_given?
      begin
        yield session
      ensure
        session&.driver&.quit
      end
    else
      session
    end
  end
end

Erstellen Sie ein Unternehmen, das den "Chrome" -Dienst von Docker-Compose wie folgt aufrufen, nach Jaran suchen und das mit "/ ([\ d,] +) Yen /" im angezeigten Plannamen auswählen kann. Und speichern Sie es in der Datenbank. Tun Sie dies bis zur letzten Seite.

models/Jalan.rb

class Jalan < ApplicationRecord
  class Crawler
    include Chromeable

    def ensure_session
      @session = create_session
      session.visit "https://www.jalan.net/uw/uwp2011/uww2011init.do?keyword=%83N%83I%83J%81%5B%83h&distCd=06&rootCd=7701&screenId=FWPCTOP&image1.x=11&image1.y=13"
      session.select "1", from: "adultNum"
      session.click_on "Forschung"

      yield
    ensure
      session&.driver&.quit
    end

    ...
  end 
end

Ergebnis

Jalan.group(:value).count
=> {3000=>201, 4000=>15, 5000=>37, 6000=>3, 7000=>2, 7700=>2, 8000=>1, 10000=>3, 30000=>2}

Es gibt Lärm, aber ...

Toller Plan, den ich gefunden habe

• [Bonus Schock Preis! Unterstützung für Geschäftsreisen QUO-Karte 30.000 Yen Plan [Zimmer ohne Mahlzeiten] großes Gemeinschaftsbad für Männer und Frauen] 1
• [Bonus Schock Preis! Business Business Trip Support QUO Karte mit 30.000 Yen Plan [Zimmer ohne Mahlzeiten] großes Gemeinschaftsbad für Männer und Frauen] 2
• [[Jaran Limited] ★ ★ ★ Geschäftsreise !!! Tetsujin !!! ★ ★ ★ [JCB-Geschenkkarte mit 10.000 Yen] Plan ♪ << mit Frühstück >>] 3

Ich weiß nicht, was ein 50.000-Yen-Hotel mit einer 30.000-Yen-Quo-Karte sagt. Die JCB-Geschenkkarte mit 10.000 Yen scheint viel einfacher zu verwenden zu sein als die Quo-Karte.