Как преобразовать журналы Кафки, хранящиеся в файловой системе в CSV

У меня есть несколько журналов, которые были сгенерированы с помощью kafka, которые в настоящее время хранятся в формате .log на моем компьютере:

введите описание изображения здесь

Я хотел бы преобразовать эти файлы в записи CSV, с сообщением и временем. Я знаю, что вопрос может показаться слишком расплывчатым или неясным, извините, но я действительно ищу отправную точку для достижения этого;

Всего 2 ответа


Эти файлы зашифрованы. Не проще ли, если вы просто напишите потребитель для этих тем и напишите CSV-файл?


Вы ищете команду DumpLogSegments. Тем не менее, это не будет выводить CSV, так что вам придется что-то анализировать

https://cwiki.apache.org/confluence/display/KAFKA/System+Tools#SystemTools-DumpLogSegment

Сегмент журнала дампов

Это может распечатать сообщения непосредственно из файлов журнала или просто проверить правильность индексов для журналов

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

обязательный аргумент "[файлы]"

Option Description
------ -----------
--deep-iteration if set, uses deep instead of shallow iteration
--files <file1, file2, ...> REQUIRED: The comma separated list of data and index log files to be dumped
--max-message-size <Integer: size> Size of largest message. (default: 5242880)
--print-data-log if set, printing the messages content when dumping data logs
--verify-index-only if set, just verify the index log without printing its content

Есть идеи?

10000