Чем открыть большой лог файл
Господа,
проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
Посоветуйте счастливое исключение.
Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.
 | От: | Ромашка |
| Дата: | 27.01.11 15:37 | |
| Оценка: | 1 (1) +1 | |
27.01.2011 17:33, Здравствуйте, SteeLHeaD:
> FAR не умеет не резать строки.
F2 не пробовал нажать? Или что значит «не резать строк»?
Всё, что нас не убивает, ещё горько об этом пожалеет.
 | От: | GarryIV |
| Дата: | 27.01.11 15:41 | |
| Оценка: | 5 (2) +3 | |
Здравствуйте, SteeLHeaD, Вы писали:
SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
SLH>Посоветуйте счастливое исключение.
А цель то какая? М. б. сразу tail\grep?
 | От: | MT-Wizard |
| Дата: | 27.01.11 15:43 | |
| Оценка: |
Здравствуйте, SteeLHeaD, Вы писали:
SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
SLH>Посоветуйте счастливое исключение.
SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.
 | От: | blackhearted |
| Дата: | 27.01.11 15:45 | |
| Оценка: |
Здравствуйте, SteeLHeaD, Вы писали:
SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
SLH>Посоветуйте счастливое исключение.
SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.
отлично notepad++ открывал файлы порядка 3 Гб. Не быстро, но надёжно. И word wrap работал.
| | От: | Ромашка |
| Дата: | 27.01.11 15:49 | |
| Оценка: |
27.01.2011 17:41, Здравствуйте, GarryIV:
> А цель то какая? М. б. сразу tail\grep?
Для винды рекомендую LogParser — убойная программа.
Всё, что нас не убивает, ещё горько об этом пожалеет.
 | От: | CaptainFlint | http://flint-inc.ru/ |
| Дата: | 27.01.11 16:10 | ||
| Оценка: |
Здравствуйте, SteeLHeaD, Вы писали:
SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
SLH>Посоветуйте счастливое исключение.
Если речь о текстовом редакторе общего назначения, то с огромными файлами отлично справляется EmEditor. Но, разумеется, он не заточен на просмотр именно логов, так что (в зависимости от задач), возможно, тут лучше подойдут специализированные утилиты.
 | От: | Were |
| Дата: | 27.01.11 17:26 | |
| Оценка: |
Здравствуйте, SteeLHeaD, Вы писали:
SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.
SLH>Посоветуйте счастливое исключение.
SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.
Если только для чтения — F3 у Total Commander справится, он читает кусками.
| | От: | CaptainFlint | http://flint-inc.ru/ |
| Дата: | 27.01.11 18:57 | ||
| Оценка: |
Здравствуйте, Were, Вы писали:
W>Если только для чтения — F3 у Total Commander справится, он читает кусками.
У него максимальная длина строки ограничена 1024 символами (если без плагинов; а с плагинами ещё поискать надо такой, который не читает всё в память).
 | От: | watchyourinfo |
| Дата: | 27.01.11 19:07 | |
| Оценка: |
GIV>А цель то какая? М. б. сразу tail\grep?
на древнем солярисе его родные утилиты крэшились на длинных строках (ну, собственно и posix гарантирует нормальную работу только при вполне ограниченной длине строк).
 | От: | SteeLHeaD |
| Дата: | 28.01.11 09:32 | |
| Оценка: |
Здравствуйте, watchyourinfo, Вы писали:
LESS под Windows существует?
 | От: | Тот кто сидит в пруду |
| Дата: | 28.01.11 09:34 | |
| Оценка: |
Существует, но у него большие проблемы с кодировками.
| | От: | SteeLHeaD |
| Дата: | 28.01.11 09:36 | |
| Оценка: |
Здравствуйте, blackhearted, Вы писали:
SLH>>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.
B>отлично notepad++ открывал файлы порядка 3 Гб. Не быстро, но надёжно. И word wrap работал.
| | От: | SteeLHeaD |
| Дата: | 28.01.11 09:37 | |
| Оценка: |
Здравствуйте, GarryIV, Вы писали:
GIV>А цель то какая? М. б. сразу tail\grep?
Цель — посмотреть на него глазами, чтобы понимать, как писать парсер
| | От: | SteeLHeaD |
| Дата: | 28.01.11 09:40 | |
| Оценка: |
Здравствуйте, Were, Вы писали:
W>Если только для чтения — F3 у Total Commander справится, он читает кусками.
Нажимал F3 у тотал коммандера.
Как выяснилось, TC не умеет читать длинные строки. По умолчанию он переносит их на следующую строку по границе экрана,
а при нажатиии F2 начинает переносить по некой виртуальной границе (по моему, 255 символов).
А мне нужно увидеть лог так, чтобы одна строка располагалась под другой
Здравствуйте, Ромашка, Вы писали:
Р>27.01.2011 17:33, Здравствуйте, SteeLHeaD:
>> FAR не умеет не резать строки.
Р>F2 не пробовал нажать? Или что значит «не резать строк»?
Как выяснилось, TC не умеет читать длинные строки. По умолчанию он переносит их на следующую строку по границе экрана,
а при нажатиии F2 начинает переносить по некой виртуальной границе (по моему, 255 символов).
А мне нужно увидеть лог так, чтобы одна строка располагалась под другой
 | От: | Baudolino |
| Дата: | 28.01.11 09:43 | |
| Оценка: |
 | От: | Finder_b |
| Дата: | 28.01.11 09:47 | |
| Оценка: |
| | От: | SteeLHeaD |
| Дата: | 28.01.11 09:53 | |
| Оценка: |
Здравствуйте, Finder_b, Вы писали:
F_>Здравствуйте, SteeLHeaD, Вы писали:
SLH>>Здравствуйте, GarryIV, Вы писали:
GIV>>>А цель то какая? М. б. сразу tail\grep?
SLH>>Цель — посмотреть на него глазами, чтобы понимать, как писать парсер
F_>А такой вариант: вырезать какой-нибудь файловой утилитой несколько кусков по метров по десять, из начала, конца, и середины. Эти фрагменты уже и смотреть. А потом уже по ошибкам парсера разбирать конкретные строки. Notepad++ нормально справляется с 10 меговыми файлами, если их не редактировать.
Спасибо.
я думаю, вполне разумное предложение.
все равно дальнейший анализ можно делать только программой.
Думаю, что так и сделаю.
| | От: | SteeLHeaD |
| Дата: | 28.01.11 09:55 | |
| Оценка: |
Спасибо.
Хороший список редакторов, купил еще 8 гб памяти и тестирую редакторы на своей проапгрейженой машине.
Сейчас вот AkelPad пытается загружать один из файлов — как выяснилось, он его все же читает целиком в память.
Как открыть большие текстовые файлы в Windows
Если вы пытаетесь загрузить большой текстовый файл размером, например, больше 10 Гб в Windows, то у вас ничего не получится. Классический Блокнот и Wordpad поддерживают только небольшие документы. И даже такие хорошие сторонние альтернативы, как Notepad ++, имеют ограничения в размере файлов.
Многогибайтные документы, конечно, редкость. За всю мою практику мне всего лишь несколько раз приходилось искать софт, чтобы открыть какие-то огромные текстовые файлы с логами. К очередному такому случаю и захотелось написать заметку на память.
Программы для открытия больших текстовых файлов в Windows:
Итак, здесь только бесплатный софт. Покупать программу ради открытия одного файла совершенно не рационально.
Спасибо, что читаете! Подписывайтесь на мои каналы в Telegram, Яндекс.Мессенджере и Яндекс.Дзен. Только там последние обновления блога и новости мира информационных технологий.
Респект за пост! Спасибо за работу!
Хотите больше постов? Узнавать новости технологий? Читать обзоры на гаджеты? Для всего этого, а также для продвижения сайта, покупки нового дизайна и оплаты хостинга, мне необходима помощь от вас, преданные и благодарные читатели. Подробнее о донатах читайте на специальной странице.
Заранее спасибо! Все собранные средства будут пущены на развитие сайта. Поддержка проекта является подарком владельцу сайта.
Чем открыть большие текстовые файлы (Glogg и LTFViewer)?
Если вы хотя бы раз в жизни пытались открыть большой текстовый файл в Блокноте Windows, то знаете, что это очень плохая затея. Какой бы мощный компьютер у вас не был, но если файл весит хотя 10 Мб, то открыть такой файл практически не возможно. Поэтому, когда речь заходит о логах и журналах, вам просто не обойтись без специфических программ. Безусловно, если логи небольшие и весят те же 10-20 Мб, то их можно открыть любым редактором исходного кода, как например, Notepad++. Однако, большинство логов промышленных систем куда больше, даже десяток лет назад легко можно было встретить журналы размерами более 1 Гб. Именно поэтому для просмотра и поиска текста по файлам больших размеров вам не обойтись без специализированных программ, как Glogg и Large Text File Viewer (LTFViewer).
Примечание: Как факт, но некоторые менеджеры файлов, как например, Far Manager, так же не плохо справляются с чтением и редактирование больших файлов.
Примечание: Основной примечательной особенностью данных инструментов является то, что они не хранят в памяти данные, а обращаются напрямую прямо к диску. Некоторые из них могут иметь собственный буфер, но, в отличии от обычных редакторов, они никогда не пытаются считать файл полностью (одна из основных причин, почему Блокнот Windows не может открыть большие файлы).
Первая программа в списке это Large Text File Viewer (LTFViewer). Несмотря на то, что программа датируется 2009 годом, она с фантастической скоростью открывает большие логи. Программа корректно поддерживает ANSI и Unicode, позволяет настраивать подсветку, осуществлять поиск как по простому тексту, так и с использованием регулярных выражений. Поддерживаются все версии Windows, начиная с 2000. Архив с программой весит около 0,4 Мб и не содержит вирусов по версии VirusTotal. Скачать LTFViewer можно по этой ссылке http://www.softpedia.com/get/Office-tools/Other-Office-Tools/Large-Text-File-Viewer.shtml.
Вторая по списку, но более мощная программа с открытым исходным кодом, Glogg. Приложение активно развивается и поддерживает не только Windows (по информации с сайта источника, тестировалось только на Win7), но и Linux (Ubuntu, Debian, Fedora и другие дистрибутивы). Так же не содержит вирусов по версии VirusTotal. В отличии от LTFViewer, Glogg является более поздним детищем и поэтому содержит больше необходимых функций, так, например, результаты поиска отображаются в дополнительном окне с подкраской найденного текста. Кроме того, сам поиск по текстовому файлу осуществляется несколько быстрее. Скачать Glogg и найти дополнительную информацию вы можете по адресу http://glogg.bonnefon.org/download.html.
Теперь, если вы встретите текстовые файлы больших размеров, то будете знать, как их открыть и найти то, что вам необходимо.
Чем открыть большой лог файл
Сообщения: 4432
Благодарности: 993
——-
— Я не разрешаю тебе быть плохой! Потому что плохие люди совершают плохие поступки. А это нехорошо!
(Из наставлений 5 летней девочки своей младшей сестре)
| zod1, логи не надо открывать по той простой причине, что прочитать 950 Мегабайт человек не в состоянии. Тривиальная осуществляется командой findstr. » |
Мне нужно не открыть его, а отфильтровать и залить на специальный сервис который его отпарсит в красивые таблички.
В данном случае задача просто отсечь данные за последние месяца 3, или хотяб за месяц
| человек то прочитает. за много-много лет. а вот компутер начинает задумываться. что по идее странно. » |
| Office начнет считать кол-во букв, слов и страниц. И конечно же на этом зависнет. Вобще такие объемы обрабатывать надо в каким либо скриптом. Perl, Awk? А на более мелкие блоки разбить нельзя? » |
Можно и нужно разбить. Перлом не владею, видимо придется свести шапочное знакомство) Думаю смотреть в сторону Lua