Installation de Spark - problème spark-shell

[erwan5032]

Bonjour, je suis en train d'installer Spark et je fais face à un problème, en effet, j'ai installer la version 1.8.0_261, j'ai ensuite installer Scala 2.11.8.

Puis j'ai modifié les variables d'environnement en mettant :
la variable JAVA_HOME dans les variables d’environnements système avec comme valeur:
C:\Program Files\Java\jdk1.8.0_261
dans la Variable PATH d’environnement système la valeur :
C:\Program Files\Java\jdk1.8.0_261\bin

Variable: SCALA_HOME Valeur: C: \ Program Files (x86) \ scala
Variable système PATH Valeur: C: \ Program Files (x86) \ scala \ bin

J'ai vérifié l'installation des deux logiciels via la cmd(invite de commande)
J'ai ensuite télécharger spark-3.0.1-bin-hadoop2.7.tgz et je l'ai décomprésser.

J'ai après télécharger ensuite Winutilities et l'ai coller sous C:\Spark\spark-2.0.1-bin-hadoop2.7\bin et ajouter ces variables d’environnements .

Variable: HADOOP_HOME Valeur: C:\spark-2.0.1-bin-hadoop2.7
Variable: SPARK_HOME Valeur: C:\spark-2.0.1-bin-hadoop2.7\bin
Variable système PATH Valeur: C:\Spark\spark-2.0.1-bin-hadoop2.7\bin

Je me suis ensuite placer dans le répertoire bin du dossier Spark et j'ai écrit dans le terminal spark-shell mais on m'indique que le chemin spécifié est introuvcable.

Savez-vous d'où le problème peut venir svp ?
Merci d'avance et portez-vous bien

-----

[erwan5032]

F&.PNG

Fp1.PNG

[pm42]

Déjà, quand tu donnes tes PATHS, c'est la valeur complète ou juste ce que tu y as ajouté ?
Ensuite, quand tu dis "dans le répertoire bin du dossier Spark", c'est quel chemin exactement ?

Si tu fais un "dir", tu vois "spark-shell" dedans ? Si tu fais "echo %PATH%", tu as quoi ?

[erwan5032]

c'est la valeur complète

il s'agit du chemin suivant : C:\Spark\spark-3.0.1-bin-hadoop2.7\bin\

Si je fais dir je vois bien spark-shell dedans
en faisant "echo %PATH%" on me retourne ce qui est affiché sur une des photos suivantes

f'.PNG
g'.PNG
h'.PNG
j'.jpg

[A voir en vidéo sur Futura]

[pm42]

Et si tu tapes .\spark-shell ?

Aussi, pourquoi ne pas faire des copier/coller ? Les images sont largement plus difficiles à lire.

[erwan5032]

on m'indique que le chemin d'accès spécifié est introuvable

copier-coller me prend plus de temps je crois

[pm42]

on m'indique que le chemin d'accès spécifié est introuvable

Le message complet serait utile parce que ce qu'il ne trouve pas, c'est quelque chose que le spark-shell utilise apparemment.

copier-coller me prend plus de temps je crois

Effectivement, il ne faudrait surtout pas que tu perdes du temps pour que ceux qui essaient de t'aider en gagnent.
Je vais économiser le mien aussi.

[erwan5032]

pourtant j'ai bien suivi les étapes : https://www.the-lazy-dev.com/fr/spar...-introduction/

sauf que j'ai utilisé la version 3.0.1 de hadoop

[erwan5032]

que voulez-vous dire par copier-coller ?

[erwan5032]

le chemin spécifié est introuvable est le message COMPLET, pas la peine d'être aussi condescendant ! On ne peut pas copier-coller depuis l'invite de commandes. merci quand même

[pm42]

pas la peine d'être aussi condescendant !

Je vous aide gentiment, je vous fait une seule demande pour me simplifier la vie qui est de ne pas poster d'images et vous me répondez "oui mais ça me prend plus de temps".
Alors vos leçons, vous vous les gardez.

On ne peut pas copier-coller depuis l'invite de commandes. merci quand même

Si, c'est parfaitement possible. Il faut juste se renseigner.

[erwan5032]

Ok, merci bien de vos conseils riches en termes de pédagogies.

Au revoir

[Ernum]

Salut,
à défaut de copier/coller, on peut enregistrer la sortie console dans un fichier texte, il me semble que le "système" des chevrons fonctionne aussi sous Windows?

commande > fichier

Donc par exemple sur une des commandes citée dans cette discussion:

echo %PATH% > fichier.txt

[erwan5032]

Bonsoir, ha d'accord merci, je ne connaissais pas cette méthode !