Флинк 1,6 брейк-стоп HDFS-файлы, застрявшие в процессе разработки

Я пишу поток данных Kafka в раковину для размещения в HDFS-пути. Кафка выдает строковые данные. Использование FlinkKafkaConsumer010 для потребления из Kafka

-rw-r--r--   3 ubuntu supergroup    4097694 2018-10-19 19:16 /streaming/2018-10-19--19/_part-0-1.in-progress
-rw-r--r--   3 ubuntu supergroup    3890083 2018-10-19 19:16 /streaming/2018-10-19--19/_part-1-1.in-progress
-rw-r--r--   3 ubuntu supergroup    3910767 2018-10-19 19:16 /streaming/2018-10-19--19/_part-2-1.in-progress
-rw-r--r--   3 ubuntu supergroup    4053052 2018-10-19 19:16 /streaming/2018-10-19--19/_part-3-1.in-progress

Это происходит только тогда, когда я использую некоторую функцию сопоставления для управления данными потока «на лету». Если я напрямую напишу поток в HDFS, он будет работать нормально. Любая идея, почему это может произойти? Я использую Flink 1.6.1, Hadoop 3.1.1 и Oracle JDK1.8

Всего 1 ответ


Этот сценарий обычно происходит, когда контрольная точка отключена.

Не можете ли вы проверить настройку контрольной точки при выполнении задания с помощью функции сопоставления? Похоже, вы включили контрольную точку для написания задания непосредственно на HDFS.


Есть идеи?

10000