Utilisation du service proxy avec l'exploration Java

Utilisation du service proxy pour le processus d'exploration Java

J'ai décidé d'utiliser un service proxy avec Java crawling PJ et je l'ai implémenté en référence à d'autres articles. Il peut être facilement appliqué en ajoutant les 2 fichiers suivants. ・ Src / main / java / ProxySetConfig.java ・ Src / main / resources / proxy.properties

Créer ProxySetConfig.java

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;
import org.springframework.context.annotation.PropertySource;
import javax.annotation.PostConstruct;

@Configuration
@Profile("pro")
@PropertySource("classpath:proxy.properties")
public class ProxySetConfig {
    @Value("${proxy.host}")
    private String host;

    @Value("${proxy.port}")
    private String port;
    
    @PostConstruct
    private void setProxy() {
        // Proxy for System
        System.setProperty("http.proxyHost", host);
        System.setProperty("http.proxyPort", port);
        System.setProperty("https.proxyHost", host);
        System.setProperty("https.proxyPort", port);
    }
}

Le @Profile ci-dessus ("pro") est @Profile ("local") pour local S'il s'agit d'un test, vous pouvez le changer en le réécrivant dans @Profile ("test").

Créer un fichier proxy.properties

proxy.host=xxx.xx.xx.xxx
proxy.port=xxxxx

Dans le fichier proxy.properties ci-dessus C'est très pratique car vous pouvez répondre aux changements de proxy simplement en réécrivant proxy.host et proxy.port.

Site de référence

https://kcf-developers.hatenablog.jp/entry/2018/09/04/112933

Recommended Posts

Utilisation du service proxy avec l'exploration Java
Utilisation de Mapper avec Java (Spring)
Utilisation de Java 8 avec Bluemix (sur Liberty Runtime & DevOps Service)
Essayez d'utiliser Redis avec Java (jar)
Utilisation de Java avec AWS Lambda-Eclipse Préparation
Utilisation de Java avec des arguments CloudWatch AWS Lambda-Implementation-Check
Utilisation de Java avec AWS Lambda-Implementation-Stop / Launch EC2
Utilisation de JupyterLab + Java avec WSL sous Windows 10
Serveur proxy par squid en utilisant l'image docker
Développement de jeux avec deux personnes utilisant java 2
J'ai essayé d'utiliser OpenCV avec Java + Tomcat
Développement de jeux avec deux personnes utilisant java 1
Essayez d'utiliser la télécommande Wii en Java
Proxy dynamique Java
Spécifiez ClassPath lors de l'utilisation de jupyter + Java avec WSL
Installez java avec Homebrew
Prise en main des programmes Java à l'aide de Visual Studio Code
Installez Java avec Ansible
Utiliser la paire avec OpenJDK
Téléchargement confortable avec JAVA
Obtenez la configuration Azure App Service pour Java avec System.getEnv ()
Changer java avec direnv
Téléchargement Java avec Ansible
Raclons avec Java! !!
Construire Java avec Wercker
[Java] Développement avec plusieurs fichiers en utilisant package et import
Conversion Endian avec JAVA
Utilisation de plusieurs versions de Java avec Brew sur Mac + jEnv
Communication socket avec un navigateur Web utilisant Java et JavaScript ②
Communication socket avec un navigateur Web utilisant Java et JavaScript ①
J'ai essayé d'utiliser la bibliothèque CameraX avec Android Java Fragment
(Java) BDD facile avec Spectrum?
Utiliser des couches Lambda avec Java
Premiers pas avec Java Collection
Essayez d'utiliser RocksDB avec Java
Configuration Java avec Spring MVC
Authentification de base avec Java 11 HttpClient
Expérimentons l'expansion en ligne Java
Exécuter un lot avec docker-compose avec Java batch
[Template] Connexion MySQL avec Java
Réécrire Java try-catch avec facultatif
Installez Java 7 avec Homebrew (cask)
[Java] Communication JSON avec jackson
Référence du service Java VB.net à mi-chemin
Essayez d'utiliser GloVe avec Deeplearning4j
Java pour jouer avec Function
Essayez la connexion DB avec Java
Essayez de gratter en utilisant Java [Note]
Activer Java EE avec NetBeans 9
[Java] JavaConfig avec classe interne statique
Essayez gRPC avec Java, Maven
Exploitons Excel avec Java! !!
Japaneseize en utilisant i18n avec Rails
Gestion des versions Java avec SDKMAN
Cryptage / décryptage RSA avec Java 8
Pagination de PDF avec Java + PDFBox.jar
Trier les chaînes comme une fonction caractéristique avec Java
Orienté objet avec Strike Gundam (java)
Ressort avec Kotorin ―― 7. Couche de service
[Java] Acquisition de contenu avec HttpCliient