[JAVA] Scraping und Schreiben bestimmter Elemente in eine Datei

Dinge die zu tun sind

Scraping mit einer Bibliothek namens jsoup, um bestimmte Elemente in eine Datei zu schreiben. Exportieren Sie zu diesem Zeitpunkt im JSON-Format. (Funktioniert mit Eclipse)

Hintergrund

Als ich den Partner des Dienstes aufsuchte, hatte ich das Glück, auf einen Dienst mit vielen Partnern zu stoßen (?). Ich dachte, es wäre schwierig, diese Dienstnamen zu kopieren und in das JSON-Format "{" Name ":" Dienstname "," Konnektivität ":" 1 "}" zu setzen. Der diesmal abgewickelte Dienst ist Ziel der Hochhauskooperation.

Bibliothek zu verwenden

Verwenden Sie eine Bibliothek namens ** jsoup **, die HTML kratzen kann. Offizielle Seite: http://jsoup.org/ Download-Seite: http://jsoup.org/download

Überprüfen Sie, welches Tag auf der Webseite die gewünschten Informationen enthält

HTML betrachten, Ich konnte bestätigen, dass sich die Informationen, die ich als Nächstes verwenden möchte (Dienstname), im a-Tag ** des h4-Tags der ** App-Klasse befinden.

Fügen Sie die heruntergeladene JAR-Datei zu Eclipse hinzu

Klicken Sie mit der rechten Maustaste auf [Paket] → [Erstellungspfad] → Klicken Sie auf [Erstellungspfad konfigurieren]. Der folgende Bildschirm wird angezeigt. Klicken Sie auf Externe JAR hinzufügen und wählen Sie die zuvor heruntergeladene jsoup .jar-Datei aus Klicken Sie dann auf [Übernehmen und schließen]. Damit ist die Hinzufügung abgeschlossen. Stellen Sie sicher, dass Sie eine "Referenzbibliothek" haben, die die hinzugefügten JAR-Dateien enthält.

Code schreiben

Jsoup importieren

Main.java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

Beschreiben Sie das Obige.

Schreiben Sie Dateivorgänge

Vergessen Sie nicht, Ausnahmen zu behandeln.

Main.java

import java.io.FileWriter;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Main {

　public static void main(String[] args) {
　　FileWriter fw = null;
  try {
    //Eine Datei schreiben
  }catch(IOException e) {
　　　　　　　　　System.out.println("Fehler beim Schreiben der Datei");
　　　　}finally {//Datei schließen
　　　　　　　　if(fw != null) {
　　　　　　　　　　　　try {
　　　　　　　　　　　　if(fw != null) {
　　　　　　　　　　　　　　fw.close();
　　　　　　　　　　　　}
　　　　　　　　　　　　}catch(IOException e2) {}
　　　　　　　　}
　　　　　}
　}
}

Schreiben Sie den Code in den Schreibteil der Datei

Main.java

　　　　　　　　　　　　　　　　　　　　　　　　//Datei öffnen
			fw = new FileWriter("[Pfad der zu schreibenden Datei]", true);
			//In Datei schreiben
			Document document = Jsoup.connect("https://highrisehq.com/extras/").get();
			Elements elements = document.select(".app h4 a");
			for (Element element : elements) {
				String name = element.text();
				fw.write("{\"Name\":\"" + name + "\",\"Connectivity\":\"1\"}\n");
				System.out.println(name);
			}
			fw.flush();

Laden Sie den HTML-Code der Website mit Jsoup.connect (" URL "). Get (); Suchen Sie das gewünschte HTML-Tag mit document.select (" tag ");. In diesem Fall sind alle entsprechenden Elemente in Elementen enthalten, da es mehrere Fälle gibt. Nehmen Sie eins nach dem anderen mit "für" heraus Holen Sie sich den entsprechenden HTML-Text mit element.text ();. (Bei Attributen "attr (" Attributname ")" anstelle von Text) Wenn Sie in eine Datei schreiben, liegt diese im JSON-Format vor. Daher sollte diesmal "{" Name ":" Dienstname "," Konnektivität ":" 1 "}" festgelegt werden.

Ich konnte es so ausschreiben. Ich bin glücklich.

• Die Liste der verknüpften Websites auf der Website enthielt einen empfohlenen Dienst, und es gab vier Duplikate. (Die ersten 4 der geschriebenen)

Was ich als Referenz verwendet habe

Vielen Dank. Hinweis zur Verwendung von jsoup: https://qiita.com/opengl-8080/items/d4864bbc335d1e99a2d7 Lass uns mit Java kratzen! !! : https://qiita.com/takahiroSakamoto/items/c2b269c07e15a04f5861 ■ [Java] [HTML-Parser] [jsoup] Verwendung der Java-Bibliothek "jsoup", die HTML wie jquery ausführen kann. : http://d.hatena.ne.jp/it-tech-dm/20110123/1295774869