[JAVA] [Windows 64-Bit-Umgebung] Informationen zur Installation von Apache Spark

Ich möchte eine Spark-Umgebung unter Windows erstellen Ich hatte es installiert, aber beim Starten des Stapels ist eine Fehlermeldung aufgetreten Notieren Sie sich die Problemumgehung.

̻ ■ Umgebung

Windows10 64bit

̻ ■ Installationsverfahren

○ Installieren Sie Apache Spark http://spark.apache.org/downloads.html

• Holen Sie sich die neueste Version (spark-2.1.1-bin-hadoop2.7) Entpacken Sie in jedes Verzeichnis mit einer Software, die tgz entpacken kann

○ Laden Sie winutils.exe herunter https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

• Exe zum Auflösen von Hadoop-Abhängigkeiten zum Ausführen von Spark unter Windows Wenn Sie eine andere Version von Hadoop oder 32-Bit-Betriebssystem verwenden möchten, müssen Sie diese Version von winutils herunterladen. .. Diesmal ist es 2.7, also hier. Entpacken Sie es nach dem Herunterladen Legen Sie es direkt unter den Behälter von Apache Spark.

̻ ■ Umgebungsvariablen

○HADOOP_HOME Das Verzeichnis, in das Sie Apache Spark entpackt haben D:\tools\spark-2.1.1-bin-hadoop2.7\

○ Pfad hinzufügen %HADOOP_HOME%\bin

̻ ■ Ausführung

Starten Sie diesmal Scala. Wenn es 32bit Fenster ist Es scheint, dass die folgenden Dateien so wie sie sind mit Administratorrechten ausgeführt werden sollten. D:\tools\spark-2.1.1-bin-hadoop2.7\bin spark-shell.cmd

• Wenn Sie nicht als Administrator starten, tritt ein Zugriffsfehler auf. ..

Wenn es 64bit ist, wurde ich wütend auf den Pass und etwas ging schief. .. Bei der Untersuchung stellte ich fest, dass die Pfadangabe bei der Ausführung von Java nicht gut war Ändern Sie die folgenden Dateien. .. D:\tools\spark-2.1.1-bin-hadoop2.7\bin spark-class2.cmd

spark-class2.cmd

rem Figure out where java is.
set RUNNER=java
if not "x%JAVA_HOME%"=="x" (
  set RUNNER=%JAVA_HOME%\bin\java :★ Von hier ist Pass""Ich werde ausschließen
) else (
  where /q "%RUNNER%"
  if ERRORLEVEL 1 (
    echo Java not found and JAVA_HOME environment variable is not set.
    echo Install Java and set JAVA_HOME to point to the Java installation directory.
    exit /b 1
  )
)

Dann ist der Start sicher abgeschlossen!

Damit können Sie mit Funken spielen.

Ich bin froh, wenn Sie es als Referenz verwenden können.