namenode, datanode не перечислить с помощью jps

Окружающая среда: ubuntu 14.04, hadoop 2.6

После ввода start-all.sh и jps DataNode не jps на терминале

 >jps 9529 ResourceManager 9652 NodeManager 9060 NameNode 10108 Jps 9384 SecondaryNameNode 

в соответствии с этим ответом: процесс Datanode не работает в Hadoop

Я стараюсь наилучшим образом решить

  • bin/stop-all.sh (or stop-dfs.sh and stop-yarn.sh in the 2.x serie)
  • rm -Rf /app/tmp/hadoop-your-username/*
  • bin/hadoop namenode -format (or hdfs in the 2.x series)

Однако теперь я получаю следующее:

 >jps 20369 ResourceManager 26032 Jps 20204 SecondaryNameNode 20710 NodeManager 

Как вы видите, даже имя NameNode отсутствует, пожалуйста, помогите мне.

DataNode logs : https://gist.github.com/fifiteen82726/b561bbd9cdcb9bf36032

NmaeNode logs : https://gist.github.com/fifiteen82726/02dcf095b5a23c1570b0

mapred-site.xml :

       mapreduce.framework.name yarn   

ОБНОВИТЬ

 coda@ubuntu:/usr/local/hadoop/sbin$ start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 15/04/30 01:07:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] coda@localhost's password: localhost: chown: changing ownership of '/usr/local/hadoop/logs': Operation not permitted localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.4' to '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.5': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.3' to '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.4': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.2' to '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.3': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.1' to '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.2': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out' to '/usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out.1': Permission denied localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 159: /usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out: Permission denied localhost: ulimit -a for user coda localhost: core file size (blocks, -c) 0 localhost: data seg size (kbytes, -d) unlimited localhost: scheduling priority (-e) 0 localhost: file size (blocks, -f) unlimited localhost: pending signals (-i) 3877 localhost: max locked memory (kbytes, -l) 64 localhost: max memory size (kbytes, -m) unlimited localhost: open files (-n) 1024 localhost: pipe size (512 bytes, -p) 8 localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 177: /usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out: Permission denied localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 178: /usr/local/hadoop/logs/hadoop-coda-namenode-ubuntu.out: Permission denied coda@localhost's password: localhost: chown: changing ownership of '/usr/local/hadoop/logs': Operation not permitted localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.4' to '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.5': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.3' to '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.4': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.2' to '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.3': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.1' to '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.2': Permission denied localhost: mv: cannot move '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out' to '/usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out.1': Permission denied localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 159: /usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out: Permission denied localhost: ulimit -a for user coda localhost: core file size (blocks, -c) 0 localhost: data seg size (kbytes, -d) unlimited localhost: scheduling priority (-e) 0 localhost: file size (blocks, -f) unlimited localhost: pending signals (-i) 3877 localhost: max locked memory (kbytes, -l) 64 localhost: max memory size (kbytes, -m) unlimited localhost: open files (-n) 1024 localhost: pipe size (512 bytes, -p) 8 localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 177: /usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out: Permission denied localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: line 178: /usr/local/hadoop/logs/hadoop-coda-datanode-ubuntu.out: Permission denied Starting secondary namenodes [0.0.0.0] coda@0.0.0.0's password: 0.0.0.0: chown: changing ownership of '/usr/local/hadoop/logs': Operation not permitted 0.0.0.0: secondarynamenode running as process 20204. Stop it first. 15/04/30 01:07:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons chown: changing ownership of '/usr/local/hadoop/logs': Operation not permitted resourcemanager running as process 20369. Stop it first. coda@localhost's password: localhost: chown: changing ownership of '/usr/local/hadoop/logs': Operation not permitted localhost: nodemanager running as process 20710. Stop it first. coda@ubuntu:/usr/local/hadoop/sbin$ jps 20369 ResourceManager 2934 Jps 20204 SecondaryNameNode 20710 NodeManager 

ОБНОВИТЬ

 hadoop@ubuntu:/usr/local/hadoop/sbin$ $HADOOP_HOME ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 15/05/03 09:32:23 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] hadoop@localhost's password: localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out hadoop@localhost's password: localhost: datanode running as process 28584. Stop it first. Starting secondary namenodes [0.0.0.0] hadoop@0.0.0.0's password: 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-ubuntu.out 15/05/03 09:32:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-ubuntu.out hadoop@localhost's password: localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-ubuntu.out hadoop@ubuntu:/usr/local/hadoop/sbin$ jps 6842 Jps 28584 DataNode 

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: исключение в secureMain java.io.IOException: все каталоги в dfs.datanode.data.dir недопустимы: «/ usr / local / hadoop_store / hdfs / datanode /»

Эта ошибка может быть вызвана неправильными разрешениями для /usr/local/hadoop_store/hdfs/datanode/ folder.

FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Не удалось запустить namenode. org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory / usr / local / hadoop_store / hdfs / namenode находится в противоречивом состоянии: каталог хранения не существует или недоступен.

Эта ошибка может быть вызвана неправильными разрешениями для папки /usr/local/hadoop_store/hdfs/namenode или ее не существует. Чтобы устранить эту проблему, выполните следующие действия:

ВАРИАНТ I:

Если у вас нет папки /usr/local/hadoop_store/hdfs , создайте и дайте разрешение на папку следующим образом:

 sudo mkdir /usr/local/hadoop_store/hdfs sudo chown -R hadoopuser:hadoopgroup /usr/local/hadoop_store/hdfs sudo chmod -R 755 /usr/local/hadoop_store/hdfs 

Измените hadoopuser и hadoopgroup на ваше имя пользователя andoop andoop, соответственно. Теперь попробуйте запустить хаоп-процессы. Если проблема все еще сохраняется, попробуйте вариант 2.

ВАРИАНТ II:

Удалите содержимое папки /usr/local/hadoop_store/hdfs :

 sudo rm -r /usr/local/hadoop_store/hdfs/* 

Изменить разрешение папки:

 sudo chmod -R 755 /usr/local/hadoop_store/hdfs 

Теперь запустите хаоп-процессы. Он должен работать.

ПРИМЕЧАНИЕ. Если ошибка повторяется, опубликуйте новые журналы.

ОБНОВИТЬ:

Если вы не создали пользователя и группу hadoop, сделайте следующее:

 sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop 

Теперь измените право собственности на /usr/local/hadoop и /usr/local/hadoop_store :

 sudo chown -R hadoop:hadoop /usr/local/hadoop sudo chown -R hadoop:hadoop /usr/local/hadoop_store 

Измените пользователя на hasoop:

 su - hadoop 

Введите пароль пользователя вашего пользователя. Теперь ваш терминал должен выглядеть следующим образом:

hadoop@ubuntu:$

Теперь введите:

$HADOOP_HOME/bin/start-all.sh

или же

sh /usr/local/hadoop/bin/start-all.sh

Я столкнулся с подобной проблемой, jps не показывал datanode.

hdfs содержимого папки hdfs и изменение разрешения для папки было разработано для меня.

 sudo rm -r /usr/local/hadoop_store/hdfs/* sudo chmod -R 755 /usr/local/hadoop_store/hdfs hadoop namenode =format start-all.sh jps 

Одна вещь, которую следует помнить при настройке разрешения: —- ssh-keygen -t rsa -P “” Вышеуказанная команда должна вводиться только в namenode. а затем сгенерированный открытый ключ должен быть добавлен ко всему узлу данных ssh-copy-id -i ~ / .ssh / id_rsa.pub, а затем нажмите команду ssh, разрешение будет установлено … после этого пароль не потребуется в время начала dfs ……

Столкнувшись с той же проблемой: служба Namenode не отображается в команде Jps. Решение: из-за проблемы с разрешением в каталоге / usr / local / hadoop_store / hdfs просто изменяются разрешения и форматируются namenode и перезапускают hasoop:

$ sudo chmod -R 755 / usr / local / hadoop_store / hdfs

$ hadoop namenode -format

$ start-all.sh

$ JPS

Решение сначала остановит ваш namenode, используя go / usr / local / hadoop

bin/hdfs namenode -format

затем удалите hdfs и tmp-каталог из своего дома

 mkdir ~/tmp mkdir ~/hdfs chmod 750 ~/hdfs 

goto hadoop каталог и начать hadoop

 `sbin/start-dfs.sh` 

он покажет datanode