Obtenez la source html lorsque javascript est activé à l'aide de curl

Il existe un outil appelé domcurl. Un outil très utile pour le web scraping. Recommandé lorsque les exigences ne peuvent pas être satisfaites avec phantomjs etc.

domcurl est une petite application NodeJS qui utilise Puppeteer et peut être installée en exécutant la commande npm i domcurl. Comme la commande curl, vous pouvez émettre une simple domcurl [url] pour obtenir des ressources et exécuter JS sur la page.

https://paul.kinlan.me/domcurl/

$ npm i domcurl
$ ./node_modules/domcurl/index.js  --url https://example.com

Remarque: le titre n'est pas précis, mais il est écrit en boucle pour faciliter la recherche.

Recommended Posts

Obtenez la source html lorsque javascript est activé à l'aide de curl
Obtenez de la soupe sur un site compatible JavaScript
Lors de l'utilisation de pygame sur Ubuntu 16.04, l'utilisation du processeur est de 100%