J'écrivais avec l'intention de gratter avec python, S'il est accédé à partir de la même adresse IP pendant un certain temps, l'accès sera refusé pendant un certain temps. Si un site comme celui-ci apparaît, vous ne pourrez peut-être pas bien gratter, alors Je vais usurper mon adresse IP et la gratter.
Cependant, comme il s'agit d'une confirmation de fonctionnement uniquement pour macOS, je pense que la méthode est un peu différente surtout pour Windows.
À propos, le déguisement donne une mauvaise impression, mais cela ne signifie pas qu'il est mauvais. Bien entendu, lors du scraping, tenez compte du temps d'exécution du programme pour ne pas mettre de charge sur le serveur cible.
Veuillez installer la série 3. (Je pense que cela fonctionnera avec 2 systèmes, mais l'opération n'a pas été confirmée)
Une bibliothèque qui appelle une URL externe (API) à partir de python. C'est comme ajax en javascript.
Installez avec la commande suivante
pip install requests
C'est une bibliothèque qui vous permet de prendre le contenu avec des conditions plus détaillées après avoir obtenu le texte avec demande.
pip install beautifulsoup4
tor
C'est un tor qui peut communiquer de manière anonyme. Utilisez ceci pour l'usurpation d'adresse IP. https://www.torproject.org/
Installez avec la commande suivante.
brew install tor
Une fois l'installation terminée, entrez la commande suivante
tor
Divers processus commenceront. Il est terminé lorsque les conditions suivantes sont remplies.
Jan 28 00:29:59.000 [notice] Bootstrapped 100% (done): Done
Puis démarrez tor.
brew services start tor
Ce n'est pas grave si vous obtenez ** avec succès ** l'anglais.
Écrivons python. Cette fois, j'ai accédé à l'URL pour obtenir ma propre adresse IP et j'ai regardé le résultat.
Vous pouvez vérifier votre propre adresse IP sur le site suivant. https://grupo.jp/myip/
test.py
#UTF-8
import requests
from bs4 import BeautifulSoup
get = requests.get('http://httpbin.org/ip').text
soup = BeautifulSoup(get, 'html.parser')
ip = soup.find('table', class_='pubwaku')
print(get)
Tout d'abord, une exécution de grattage normale
python test.py
Les résultats suivants seront renvoyés. Un grand nombre de données HTML seront renvoyées, mais recherchez l'emplacement où l'adresse IP et l'hôte distant sont écrits comme indiqué ci-dessous.
<tr><th>adresse IP</th><td style="font-size:18px;font-weight:bold;">153.999.999.99</td><td class="commentary">現在、接続されるadresse IP</td></tr>
<tr><th>Hôte distant</th><td>p554999-************.*****.ne.jp</td><td class="commentary">Nom d'hôte associé à l'adresse IP</td></tr>
** Adresse IP ** 153.999.999.99
** Hôte distant ** p554999-*******..ne.jp
test.py
#UTF-8
import requests
from bs4 import BeautifulSoup
get = requests.get('https://grupo.jp/myip/',
proxies=dict(http='socks5://127.0.0.1:9050',
https='socks5://127.0.0.1:9050')).text
soup = BeautifulSoup(get, 'html.parser')
ip = soup.find('table', class_='pubwaku')
print(ip)
Ajout d'une partie des proxys dans les demandes.
Courir
python test.py
Voyons le résultat. Recherchez à nouveau l'emplacement où l'IP et l'hôte distant sont écrits.
Les résultats suivants seront renvoyés. Un grand nombre de données HTML seront renvoyées, mais recherchez l'emplacement où l'adresse IP et l'hôte distant sont écrits comme indiqué ci-dessous.
<tr><th>adresse IP</th><td style="font-size:18px;font-weight:bold;">82.223.99.999</td><td class="commentary">現在、接続されるadresse IP</td></tr>
<tr><th>Hôte distant</th><td>tornode3.*******.net</td><td class="commentary">Nom d'hôte associé à l'adresse IP</td></tr>
** Adresse IP ** 82.223.99.999
** Hôte distant ** tornode3.*******.net
Comme vous pouvez le voir, non seulement l'adresse IP, mais également l'hôte distant convient.
Redémarrer
brew services restart tor
exécuter test.py
python test.py
Vérifiez le résultat.
<tr><th>adresse IP</th><td style="font-size:18px;font-weight:bold;">109.70.999.99</td><td class="commentary">現在、接続されるadresse IP</td></tr>
<tr><th>Hôte distant</th><td>tor-exit-anonymizer.********.net</td><td class="commentary">Nom d'hôte associé à l'adresse IP</td></tr>
** Adresse IP ** 109.70.999.99
** Hôte distant ** tor-exit-anonymizer.********.net
Qu'est-ce que tu penses. Comme mentionné ci-dessus, la falsification de l'adresse IP peut être effectuée facilement. Ensuite, il n'en est pas ainsi si la vérification IP est inutile pour les attaques DoS. Pour changer l'adresse IP, vous devez redémarrer tor, ce qui prend un certain temps. Par conséquent, il est difficile d'attaquer avec différentes adresses IP des centaines de fois par seconde. Par conséquent, un programme qui rejette temporairement un certain nombre d'accès à partir de la même adresse IP est efficace dans une certaine mesure. ** Cependant, il n'est pas efficace contre les attaques DDos **
Arrêtez de gaspiller l'accès et les méfaits en grattant.
Recommended Posts