[Java + jsoup] Scraping Mercaris Produkte zum Verkauf

【Überblick】

Geben Sie einfach die Mercari-URL an, um die zum Verkauf stehenden Produkte zu kratzen und auf der HTML1-Seite aufzulisten. Es war mühsam, die Mercari-Lesezeichen einzeln anzuzeigen, deshalb habe ich sie automatisiert. Es ist auf GitHub → Mercari Scraping aufgeführt.

[Vorbereitung]

Schreiben Sie die URL des Produkts, das Sie erhalten möchten, in eine Textdatei. Zeilen mit einem halbhohen scharfen "#" am Anfang werden als Kommentare behandelt. (In diesem Beispiel "C: \ Users \ nobu \ Desktop \ tmp \ mercari_url.txt")

`mercari_url.txt`


#Standard C-Algorithmen und Datenstrukturen für Programmierer
https://item.mercari.com/jp/product_key/1_28384941/
#Professionelle Oracle PL/Einführung in SQL [3rd Edition]
https://item.mercari.com/jp/product_key/1_33099446/
#Erster Perl
https://item.mercari.com/jp/product_key/1_32331276/

【Code】

`Main.java`


package scrap.main;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.nio.charset.StandardCharsets;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Main {
	public static String MERCARI_URL_FILE = "C:\\Users\\nobu\\Desktop\\tmp\\mercari_url.txt";
	public static String OUTPUT_HTML_FILE = "C:\\Users\\nobu\\Desktop\\tmp\\output_mercari.html";

	public static void main(String[] args) {

		//Lesen Sie die URL von Mercari
		BufferedReader reader = null;
		try {
			reader = new BufferedReader(
					new InputStreamReader(new FileInputStream(MERCARI_URL_FILE), StandardCharsets.UTF_8));
		} catch (FileNotFoundException e1) {
			e1.printStackTrace();
		}

		String str;
		Document document = null;
		Elements element = null;
		String html = "";
		try {
			while ((str = reader.readLine()) != null) {
				//Am Anfang halbwegs scharf"#"Überspringen Sie die Kommentarzeile
				if (str.startsWith("#")) {
					continue;
				}

				int pageNo = 1;
				//Schleife zu einer URL, für die kein Produkt zum Verkauf steht
				do {
					//Seitenquelle abrufen, Zeitlimit für Anforderung auf 10 Sekunden einstellen
					document = Jsoup
							.connect(str + "?page=" + pageNo + "#sell-items")
							.timeout(10000).get();
					element = document.getElementsByClass("entertainment-product-sell-item-content");
					html += element.outerHtml();
					pageNo++;
				} while (!element.isEmpty());
			}
		} catch (IOException e) {
			e.printStackTrace();
		}

		//Erstellung von HTML-Dateien
		try {
			File file = new File(OUTPUT_HTML_FILE);
			PrintWriter pw = new PrintWriter(new BufferedWriter(new FileWriter(file)));
			pw.println("<!DOCTYPE html>");
			pw.println("<html lang=\"ja-JP\">");
			pw.println("<head>");
			pw.println("<link href=\"https://item.mercari.com/jp/assets/css/app.jp.css?3062056556\" rel=\"stylesheet\">");
			pw.println("</head>");
			pw.println("<body>");
			pw.println("<main class=\" l-container clearfix\">");
			pw.println(html.replaceAll("class=\"lazyload\"", "").replaceAll("data-src", "src"));
			pw.println("</main>");
			pw.println("</body>");
			pw.println("</html>");
			pw.close();
		} catch (IOException e) {
			e.printStackTrace();
		}

	}
}

【Ausführungsergebnis】

Wenn du rennst C:\Users\nobu\Desktop\tmp\output_mercari.html Abgeschlossen. Das Bild ist Teil der Seite und enthält Informationen zum Zeitpunkt des Schreibens dieses Artikels.

メルカリ.png