[JAVA] [Environnement Windows 64 bits] À propos de l'installation d'Apache Spark

Je souhaite créer un environnement Spark sous Windows Je l'avais installé, mais j'ai eu une erreur lors du démarrage du lot, donc Prenez note de la solution de contournement.

̻ ■ Environnement

Windows10 64bit

̻ ■ Procédure d'installation

○ Installez Apache Spark http://spark.apache.org/downloads.html

• Obtenez la dernière version (spark-2.1.1-bin-hadoop2.7) Décompressez dans n'importe quel répertoire avec un logiciel capable de décompresser tgz

○ Téléchargez winutils.exe https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

• Exe pour résoudre les dépendances Hadoop pour exécuter Spark sur Windows Si vous souhaitez utiliser une autre version de Hadoop ou du système d'exploitation 32 bits, vous devez télécharger cette version de winutils. .. Cette fois, c'est 2,7, donc ici. Après le téléchargement, décompressez-le Placez-le directement sous le bac d'Apache Spark.

̻ ■ Variables d'environnement

○HADOOP_HOME Le répertoire dans lequel vous avez décompressé Apache Spark D:\tools\spark-2.1.1-bin-hadoop2.7\

○ Ajouter un chemin %HADOOP_HOME%\bin

̻ ■ Exécution

Cette fois, lancez Scala. S'il s'agit de 32 bits de fenêtre Il semble que les fichiers suivants doivent être exécutés avec les privilèges d'administrateur tels quels. D:\tools\spark-2.1.1-bin-hadoop2.7\bin spark-shell.cmd

• Si vous ne démarrez pas en tant qu'administrateur, une erreur d'accès se produira. ..

Si c'est 64 bits, je me suis fâché contre le pass et quelque chose s'est mal passé. .. Après examen, j'ai trouvé que la spécification du chemin n'était pas bonne lors de l'exécution de java, donc Modifiez les fichiers suivants. .. D:\tools\spark-2.1.1-bin-hadoop2.7\bin spark-class2.cmd

spark-class2.cmd

rem Figure out where java is.
set RUNNER=java
if not "x%JAVA_HOME%"=="x" (
  set RUNNER=%JAVA_HOME%\bin\java :★ D'ici le pass""Je vais exclure
) else (
  where /q "%RUNNER%"
  if ERRORLEVEL 1 (
    echo Java not found and JAVA_HOME environment variable is not set.
    echo Install Java and set JAVA_HOME to point to the Java installation directory.
    exit /b 1
  )
)

Ensuite, le démarrage est terminé en toute sécurité!

Vous pouvez jouer avec Spark avec ça.

Je suis heureux que vous puissiez l'utiliser comme référence.