Verwenden des Proxy-Dienstes mit Java-Crawling

Verwenden des Proxy-Dienstes für den Java-Crawling-Prozess

Ich entschied mich für einen Proxy-Dienst mit Java-Crawler-PJ und implementierte ihn unter Bezugnahme auf andere Artikel. Es kann einfach angewendet werden, indem die folgenden 2 Dateien hinzugefügt werden. ・ Src / main / java / ProxySetConfig.java ・ Src / main / resources / proxy.properties

Erstellen Sie ProxySetConfig.java

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;
import org.springframework.context.annotation.PropertySource;
import javax.annotation.PostConstruct;

@Configuration
@Profile("pro")
@PropertySource("classpath:proxy.properties")
public class ProxySetConfig {
    @Value("${proxy.host}")
    private String host;

    @Value("${proxy.port}")
    private String port;
    
    @PostConstruct
    private void setProxy() {
        // Proxy for System
        System.setProperty("http.proxyHost", host);
        System.setProperty("http.proxyPort", port);
        System.setProperty("https.proxyHost", host);
        System.setProperty("https.proxyPort", port);
    }
}

Das obige @Profile ("pro") ist @Profile ("lokal") für lokal Wenn es sich um einen Test handelt, können Sie ihn ändern, indem Sie ihn in @Profile ("Test") umschreiben.

Erstellen Sie die Datei proxy.properties

proxy.host=xxx.xx.xx.xxx
proxy.port=xxxxx

In der obigen Datei proxy.properties Dies ist sehr praktisch, da Sie auf Änderungen im Proxy einfach durch Umschreiben von proxy.host und proxy.port reagieren können.

Referenzseite

https://kcf-developers.hatenablog.jp/entry/2018/09/04/112933

Recommended Posts

Verwenden des Proxy-Dienstes mit Java-Crawling
Verwenden von Mapper mit Java (Spring)
Verwenden von Java 8 mit Bluemix (auf Liberty Runtime & DevOps Service)
Versuchen Sie es mit Redis mit Java (jar)
Verwenden von Java mit AWS Lambda-Eclipse-Vorbereitung
Verwenden von Java mit AWS Lambda-Implementation-Check CloudWatch-Argumenten
Verwenden von Java mit AWS Lambda-Implementierung-Stop / Launch EC2
Verwenden von JupyterLab + Java mit WSL unter Windows 10
Proxyserver durch Tintenfisch mit Docker-Image
Spieleentwicklung mit zwei Personen mit Java 2
Ich habe versucht, OpenCV mit Java + Tomcat zu verwenden
Spieleentwicklung mit zwei Personen mit Java 1
Versuchen Sie es mit der Wii-Fernbedienung in Java
Java Dynamic Proxy
Geben Sie ClassPath an, wenn Sie jupyter + Java mit WSL verwenden
Installieren Sie Java mit Homebrew
Erste Schritte mit Java-Programmen mit Visual Studio Code
Installieren Sie Java mit Ansible
Verwenden Sie Pair mit OpenJDK
Bequemer Download mit JAVA
Rufen Sie den Azure App Service für die Java-Konfiguration mit System.getEnv () ab.
Schalten Sie Java mit direnv
Java-Download mit Ansible
Lass uns mit Java kratzen! !!
Erstellen Sie Java mit Wercker
[Java] Entwicklung mit mehreren Dateien mittels Paket und Import
Endian-Konvertierung mit JAVA
Verwenden mehrerer Java-Versionen mit Brew auf Mac + jEnv
Socket-Kommunikation mit einem Webbrowser über Java und JavaScript ②
Socket-Kommunikation mit einem Webbrowser über Java und JavaScript ①
Ich habe versucht, die CameraX-Bibliothek mit Android Java Fragment zu verwenden
(Java) Einfache BDD mit Spektrum?
Verwenden Sie Lambda-Ebenen mit Java
Erste Schritte mit Java Collection
Versuchen Sie es mit RocksDB mit Java
Java-Konfiguration mit Spring MVC
Grundlegende Authentifizierung mit Java 11 HttpClient
Experimentieren wir mit der Java-Inline-Erweiterung
Führen Sie Batch mit Docker-Compose mit Java-Batch aus
[Vorlage] MySQL-Verbindung mit Java
Schreiben Sie Java Try-Catch mit Optional neu
Installieren Sie Java 7 mit Homebrew (Fass)
[Java] JSON-Kommunikation mit Jackson
Java VB.net-Dienstreferenz auf halbem Weg
Versuchen Sie es mit GloVe mit Deeplearning4j
Java zum Spielen mit Function
Versuchen Sie eine DB-Verbindung mit Java
Versuchen Sie, mit Java zu kratzen [Hinweis]
Aktivieren Sie Java EE mit NetBeans 9
[Java] JavaConfig mit statischer innerer Klasse
Versuchen Sie gRPC mit Java, Maven
Lassen Sie uns Excel mit Java betreiben! !!
Japanisieren Sie mit i18n mit Rails
Java-Versionsverwaltung mit SDKMAN
RSA-Verschlüsselung / Entschlüsselung mit Java 8
Paging PDF mit Java + PDFBox.jar
Sortieren Sie Zeichenfolgen als charakteristische Funktion mit Java
Objektorientiert mit Strike Gundam (Java)
Feder mit Kotorin ―― 7. Serviceschicht
[Java] Inhaltserfassung mit HttpCliient