Articles of Hadoop

hasoop fs -ls не работает

Я установил один узел Hadoop на своем локальном компьютере с ОС Ubuntu 14.04. Теперь я собираюсь использовать HDFS, и когда я набираю простую команду hdu@hadoop:~$ hadoop fs -ls он обнаруживает следующие ошибки: 15/07/10 18:24:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable ls: Call From hadoop/127.0.1.1 to localhost:9000 […]

Не удалось загрузить каталог в hdf. `/ usr / local / tmp / ‘: нет такого файла или каталога

Я пытаюсь загрузить файлы в каталог в каталог, созданный на HDFS, но я не могу это сделать, поскольку ubuntu не может найти файлы на моей машине. В «состояниях» каталога (я пытаюсь загрузить) содержится 50 файлов txt, находится в папке загрузки (путь: / home / shradha / Downloads). Я пытаюсь загрузить эти файлы в свой экземпляр […]

Должен ли пользователь hadoop находиться в файле sudoers?

Я изучаю Hadoop (2.7.1). Я настраиваю его на Ubuntu (15.04), и я создал отдельного пользователя для Hadoop, чтобы изолировать файловую систему Hadoop от файловой системы Linux. Но когда я пытаюсь использовать sudo под этим пользователем hadoop, я получаю сообщение об ошибке: hadoop не находится в файле sudoers. Об этом инциденте сообщается. Должен ли этот пользователь […]

Как исправить Hadoop ПРЕДУПРЕЖДЕНИЕ: Нелегальная операция рефлексивного доступа произошла с ошибкой на Ubuntu

Я успешно установил Java openjdk version “10.0.2” и Hadoop 2.9.0 . Все процессы работают хорошо hadoopusr@amalendu:~$ jps 19888 NameNode 20388 DataNode 20898 NodeManager 20343 SecondaryNameNode 20539 ResourceManager 21118 Jps Но когда я когда-либо пытаюсь выполнить любую команду, например, hdfs dfs -ls / получать эти предупреждения hadoopusr@amalendu:~$ hdfs dfs -ls / WARNING: An illegal reflective access […]

hdfs namenode -format error (нет такого файла или каталога)

Пытаясь получить hasoop 2.3.0, запущенный локально на моей машине ubuntu, пытаясь отформатировать ham-hode-namenode, я получаю следующую ошибку: /usr/local/hadoop/hadoop-hdfs-project/hadoop-hdfs/src/main/bin/hdfs: line 34: /usr/local/hadoop/hadoop-hdfs-project/hadoop-hdfs/src/main/bin/../libexec/hdfs-config.sh: No such file or directory /usr/local/hadoop/hadoop-hdfs-project/hadoop-hdfs/src/main/bin/hdfs: line 204: exec: : not found Я думаю, что я отредактировал все необходимые файлы ( bashrc , hadoop-env.sh , core-site.xml , yarn-site.xml , mapred-site.xml , hdfs-site.xml ). Любая […]

Hadoop, «Просмотр файловой системы», неработающая ссылка на ec2

Я новичок в настройке hadoop на EC2. Я пытаюсь настроить настройку узла одиночного узла. Я успешно установил и запустил Hadoop 1.1.2 на одном из экземпляров Amazon EC2. Все узлы, namenode, datanode, jobtracker, mapred node находятся на одной машине. Конфигурация моего основного сайта fs.default.name hdfs://localhost:9000 Когда я запускаю Hadoop и перехожу в web ui, пользовательский интерфейс […]

не удалось запустить start-dfs.sh

Я не могу запустить start-dfs.sh ubuntu@UBUNTU:~$ start-dfs.sh 14/10/19 19:26:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable Starting namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused localhost: ssh: connect to host localhost port 22: Connection refused Starting secondary namenodes [0.0.0.0] 0.0.0.0: ssh: connect […]

namenode, datanode не перечислить с помощью jps

Окружающая среда: ubuntu 14.04, hadoop 2.6 После ввода start-all.sh и jps DataNode не jps на терминале >jps 9529 ResourceManager 9652 NodeManager 9060 NameNode 10108 Jps 9384 SecondaryNameNode в соответствии с этим ответом: процесс Datanode не работает в Hadoop Я стараюсь наилучшим образом решить bin/stop-all.sh (or stop-dfs.sh and stop-yarn.sh in the 2.x serie) rm -Rf /app/tmp/hadoop-your-username/* […]

трудоустройство и слесарь-постановщик не открываются

Я успешно установил ubuntu 12.04 и hadoop 2.3.0. после ввода команды jps я нахожу вывод, как показано ниже 4135 jps 2582 SeconadaryNameNode 3143 NodeManager 2394 Namenode 2391 Datanode 3021 ResourceManager почему он не показывает работу и контролер. я попробовал start-mapred.sh, но он показывает, что команда не найдена. (я искал каталог hadoop, поэтому такой файл не […]

Ошибка при запуске деmonoв daoop

Я новичок в hadoop, а также ubuntu и пытаюсь установить Hadoop 2.2.0 в (Ubuntu) в моей системе. Когда я попытался запустить деmonoв, используя start -all.sh или start-dfs.sh, он выдает сообщение об ошибке «Команда не найдена». Я выдал эту команду как пользователь, созданный только в группе hadoop. > hduser@nitk-OptiPlex-9010:~/hadoop-2.2.0/sbin$ start-all.sh > start-all.sh: command not found Может […]