Exécutez simplement la commande suivante:
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
--jupyter notebook et Apache Spark sont installés
En gros, démarrez-le simplement comme décrit dans https://spark.apache.org/docs/latest/programming-guide.html#using-the-shell.
Définissez simplement les variables d'environnement pour $ {PYSPARK_DRIVER_PYTHON} et $ {PYSPARK_DRIVER_PYTHON_OPTS} correctement et démarrez pyspark.
--Cette fois, ajoutez l'option --master local [4] pour tester sur le nœud à portée de main.
De plus, pour confirmer que le maître et le travailleur utilisent la même version de python, j'ai spécifié le chemin python dans $ {PYSPARK_PYTHON}.
Vous pouvez trouver le chemin vers python dans votre environnement en recherchant quel python.
Les commandes ci-dessus sont résumées ci-dessous.
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
Recommended Posts