Мониторинг и проверка длительной дистанционной операции

Существуют ли какие-либо другие возможности для мониторинга и проверки больших настроек distop, кластеров и кластеров, hdfs, кроме исследования журналов нитей / карт? (миллионы небольших и больших файлов, оценка исполнения: несколько дней, изменение скорости сети из-за виртуализованной среды и параллельного использования кластера)

Использование DistCp V2 и Apache Hadoop 2.7.3 на HDP 2.6.1

Всего 1 ответ


Напишите статус копирования в журнал с этим ниже аргументом в команде distcp:

-log <logdir>

Запись журналов в DistCp хранит журналы каждого файла, который он пытается скопировать в качестве вывода на карту. Если карта не удалась, выход журнала не будет сохранен, если он будет повторно выполнен.


Есть идеи?

10000