нагрузка на жесткий диск линукс
Нагрузка на диски в Linux
Я здесь пишу свой опыт, со своим видением и трактовкой. Пожалуйста, учитывайте это.
IOTOP
Посмотреть, какие процессы в настоящее время создают нагрузку на диск удобно смотреть командой iotop:
Здесь видно, что в данный момент mc что-то пишет (а в это время в другом окне я в самом деле копировал кучу файлов на usb-диск в Midnight Commander (он же mc).
Понять, что коипрует mc в данный момент можно узнать командой:
IOSTAT
Пример вывода iostat на незагруженной в данный момент старенькой системе из двух SATA HDD в soft raid 1 (зеркало) mdadm:
Команда выглядела так:
Если нужны не история, а динамика процесса, попробуйте так:
В этом выводе r/s и w/s это отправленные к устройству запросы на выполнение (IOPS, которые хотелось бы, чтобы устройство выполнило).
Для обычных SATA дисков нагрузка IOPS где-то до 100-130 вполне выполнимая. В момент проведения замеров запрошенная нагрузка была 40 IOPS, поэтому запрос практически в очереди и не стоял, его обслужили почти сразу (на «кассе» никого не было). Поэтому await практически равен svctm.
Другое дело, когда нагрузка на диск вырастает:
Заранее проверить производительность дисков можно с помощью fio. Также можно примерно оценить на одной машине производительность дисков и понимать, какой уровень «в среднем по больнице» вы можете ожидать. Это, конечно же, не правильно, но оценить все же поможет. Глубже анализировать результаты, а, главное, методики тестов мне пока трудно.
# apt-get install fio
В общем виде запуск выглядит так:
Файл your.cfg (название произвольное) может быть примерно таким (пример рабочего конфига для теста на чтение):
Буферизацию не используем (buffered=0), чтение не последовательное (rw=randread).
Я не стал ждать два дня, Ctrl+C и вот результат:
Получили 109 iops, что в принципе нормально, диск обычный, SATA.
Как отследить, какой процесс создаёт нагрузку на диск
Мониторинг операций ввода и вывода
Чрезмерная нагрузка на диск может быть вызвана такой причиной как заражение вирусом либо неправильная настройка программ. В любом случае, необходимо начать с идентификации процесса (программы), которая больше всего делает операций чтения и записи на диск.
iotop — аналог top для отслеживания нагрузки на диск в реальном времени
Программа top позволяет увидеть, какие процессы потребляют больше всего процессорного времени и оперативной памяти, но ничего не говорит об использовании процессами диска, об операциях чтения и записи на диск.
Программа iotop показывает скорость чтения и записи на диск, также процент использования файла подкачки каждым процессом.
Для установки iotop в Debian, Linux Mint, Kali Linux, Ubuntu и их производные выполните команду:
Для установки iotop в Arch Linux, BlackArch, Manjaro и их производные выполните команду:
Программа требует повышенных привилегий для запуска:
В выводе программы присутствуют следующие столбцы:
С помощью курсорных клавиш вправо (→) и влево (←) вы можете переключаться между столбцами, одновременно выбирая, по какому из них будет выполнятся сортировка.
С помощью кнопок «Home» и «End» вы можете переключаться между крайними столбцами.
Нажатие любой клавиши обновит окно.
Для выхода нажмите «q».
Нажав клавишу «o» вы переключитесь на показ только активных процессов, то есть только процессов, которые записывают и считывают данные с постоянного хранилища. Такой же результат вы можете получить запустив программу с опцией -o:
Повторное нажатие клавиши «o» вернёт показ всех процессов.
По умолчанию используется сортировка по убыванию, с помощью кнопки «r» вы можете переключаться между сортировкой по убыванию и по возрастанию.
Кнопка «p» переключает между показами процессов и потоков.
По умолчанию показываются скорости чтения и записи, с помощью кнопки «a» вы можете переключиться на показ общего количества записанных и прочитанных данных.
У iotop имеется несколько опций, которые позволяют управлять поведением программы, например следующая команда будет работать в пакетном режиме (-b), показывая общее количество записанных и прочитанных данных (-a) только для активных процессов (-o), к выводимым данным будет добавляться метка времени (-t), из всех процессов будет отфильтрована только информация о systemd-journald (grep ‘systemd-journald’):
pidstat — вывод статистики для задач Linux
Пакет sysstat содержит сразу две утилиты с помощью которых можно собрать статистику использования диска процессами:
Для установки pidstat в Debian, Linux Mint, Kali Linux, Ubuntu и их производные выполните команду:
Для установки pidstat в Arch Linux, BlackArch, Manjaro и их производные выполните команду:
Следующая команда будет выводить накопленную статистику за каждые 20 секунд, будут показаны только активные процессы (сделавшие операции чтения и записи на диск за указанный интервал), также будет показана полная команда, запустившая процесс. Для более полной статистики запустите программу с повышенными привилегиями:
Каждая строка будет иметь следующие столбцы:
iostat — статистика использования устройств и разделов дисков
Утилита iostat также включена в пакет sysstat. Как можно догадаться из названия программы, она создаёт отчёты по статистике ввода/вывода для устройств и разделов. Её особенностью является то, что она показывает обобщённую статистику для всей системы, а также для отдельных носителей, не разбивая её на процессы. Программа iostat может пригодиться когда необходимо ответить на вопрос: «какой из постоянных носителей подвергается наибольшей нагрузке?».
Запуск программы без опций
выведет два блока информации:
Раздел со статистикой использований устройств содержит следующие разделы:
Отчёт выводит для всей системы с момента её загрузки.
Поскольку по умолчанию данные выводятся в килобайтах, а современные объёмы информации, записываемой на диск, обычно кратны гигабайтом, что цифры трудны для восприятия. Для вывода чисел в удобных для восприятия единицах используйте опцию -h:
Для вывода максимальной полной информации, укажите опцию -x:
Если вам нужна информация только об устройствах, то используйте опцию -d:
Вы можете запустить команду указав время интервала (в секундах) и счётчик (количество отчётов) — в этом случае программа будет выводить информацию через заданный интервал:
Первый отчёт будет содержать информацию с момента загрузки системы, а последующие отчёты будут содержать информацию за период, прошедший с предыдущего отчёта.
Для поиска проблем, вы можете использовать следующую команду, которая непрерывно будет выводить информацию:
С помощью iostat вы можете следить за скоростью чтения и записи на всё устройство, а также выявлять отброшенные блоки.
Выполняю установку, настройку, сопровождение серверов. Для уточнения деталей используйте форму обратной связи
Иногда бывают ситуации, когда в top’e вроде бы всё нормально, но сервер всё равно тормозит. Тогда нужно обратить внимание на нагрузки дисковой подсистемы. В статье мы рассмотрим варианты для Unix систем: FreBSD, OpenBSD, Linux, Solaris.
FreeBSD
Во FreeBSD есть штатная утилита gstat, при запуске которой без параметров мы увидим текущую нагрузку на диски.
Как видно из примера, очень большая нагрузка на диск ad4.
Так же можно смотреть и через iostat (пример из другой ОС):
А что-бы определить процесс, который нагружает диски, выполним такую команду:
OpenBSD
Для OpenBSD есть штатная утилита iostat, которая показывает нагрузку на диски+CPU usage. При обычном запуске она показывает не больше 4 дисков, но если нужно больше, то указываем все нужные диски.
Linux
Для Linux есть аналог утилиты gstat — iostat. В Debian/Ubuntu она находится в пакете sysstat.
Здесь мы поставили автообновление каждую секунду. Хочу обратить внимание на то, что первые пару выводов во внимание не брать, так как в первом выводе отображается информация из кеша, а не реальные показатели. Как видим, диски здесь не нагружены
Для определения процесса, который нагружает диски, есть утилита iotop, правда её нужно ставить отдельно.
Solaris
Для solaris существует 3 метода: zpool iostat, утилита iostat, fsstat. Единственный недостаток, это то, что мы не сможем отображать статистику отдельно по каждой из zfs, а только можем отдельно по каждому диску:
Здесь как и в случае с Linux не учитываем первый вывод. Как видим, диски простаивают (значение столбца %b — busy).
Общую картину можно так же посмотреть через fsstat:
Очень удобно просматривать информацию по конкретной zfs:
Смотрим нагрузку на диски : 5 комментариев
Программа ‘gstat’ на данный момент не установлена. Вы можете установить ее, напечатав:
apt-get install ganglia-monitor
Это не тот gstat, которым смотрят диски — просто названия одинаковые.
ога ))
по моему то чё он предлагает имеет отношение к sql
Описание iostat Linux
Утилита iostat позволяет проанализировать загруженность системы. Она выводит основные параметры ввода и вывода данных на диск, скорость записи и чтения данных, а также количество записанных или прочитанных данных. Кроме того, утилита выводит параметры загруженности процессора. Её можно использовать для оптимизации работы системы.
В этой статье мы рассмотрим как пользоваться iostat и что означают основные колонки в её выводе.
Описание iostat Linux
Синтаксис iostat очень простой. Вам достаточно выполнить:
$ iostat опции устройство интервал
Параметры устройство и интервал необязательные. Первый указывает по какому устройству показывать статистику, а второй, с каким интервалом обновлять данные. Давайте сначала рассмотрим опции программы, которые могут вам пригодится:
Использование iostat в Linux
Самый простой пример использования утилиты, это запустить её без параметров. Она выведет отчёт с со средней статистикой с момента включения системы до момента запуска программы:
В первой части отчёта находится информация о загруженности процессора. Тут есть такие колонки:
Если значение параметра %iowait слишком большое, то это может означать, что у вас проблема с производительностью диска и слишком много времени тратится на ожидание завершения ввода/вывода. Для устройств ввода/вывода тоже отображается ряд колонок с информацией. Разберемся что они означают:
С чтением и записью, я думаю, что всё понятно. Освобождение блоков с данными с помощью операции trim или discard актуально для SSD дисков. Этой операцией файловая система сообщает какие блоки больше хранить физически не нужно и можно использовать для других целей. Утилита отображает с какой скоростью эти блоки освобождаются, а также сколько блоков или мегабайт данных было освобождено. Рассмотрим ещё несколько примеров. Для просмотра данных в удобном формате выполните:
Чтобы посмотреть данные по нужному устройству просто укажите это устройство:
sudo iostat /dev/nvme0n1
Чтобы утилита автоматически обновляла данные каждую секунду просто добавьте интервал. Например:
Выводы
Инструменты для мониторинга активности диска в Linux
Главное меню » Linux » Инструменты для мониторинга активности диска в Linux
Это лишь некоторые из параметров, по которым измеряется активность диска. Есть еще несколько параметров, которые нам не нужно обсуждать на данном этапе.
Чтобы измерить, как работают жесткие диски нашей системы, нам нужны инструменты для количественного анализа дисковой активности.
Инструменты для мониторинга активности диска в Linux
Ниже приведены некоторые инструменты, которые мы собираемся подробно обсудить, об их использовании, шаг за шагом по установке:
IOSTAT
IOSTAT означает «Статистика ввода-вывода». Это один из самых популярных инструментов среди разработчиков и компьютерных фанатов. Они используют его для проверки всех операций ввода-вывода, которые выполняются конкретным диском, подключенным к нашей системе. Этот инструмент также отслеживает среднее время работы диска для обработки входных и выходных операций чтения, подключенных к периферийным устройствам.
Команды, используемые IOSTAT, могут создавать подробный отчет, который в дальнейшем может быть использован для изменения конфигурации системы. Пользователям может быть полезно оптимизировать использование системного диска и его производительность. Этот инструмент обычно дает анализ использования ЦП и устройства отдельно.
Как установить IOSTAT в Linux
Sysstat – это пакет, содержащий инструмент IOSTAT. Итак, мы можем установить этот инструмент напрямую из этого пакета. В Ubuntu мы можем запустить следующую команду, чтобы продолжить установку:
Выполнение команд IOSTAT для анализа производительности диска
Существует множество команд, которые запускают различные функции инструмента IOSTAT. Ниже приведены наиболее часто используемые команды:
IOTOP
IOTOP – это инструмент для мониторинга активности диска на базе ОС Linux. Он дает анализ в реальном времени и использование диска операционной системой. Он получает доступ ко всей информации, связанной с использованием диска, напрямую из ядра Linux. Это делает систему более надежной с точки зрения точности, поскольку все извлекаемые данные будут в реальном времени.
Он основан на многопоточной модели. Он предоставляет информацию о каждом потоке, участвующем в операциях ввода-вывода, а также об их использовании полосы пропускания.
Как установить IOTOP в Linux
Мы можем использовать пакеты дистрибутива Linux для установки этого инструмента в нашей системе. Следующая команда помогает нам сделать то же самое в операционной системе Linux:
Выполнение команд IOTOP для анализа производительности диска
В инструменте IOTOP присутствует несколько команд для анализа активности диска с другой точки зрения. Ниже приведены несколько наиболее часто используемых команд:
DSTAT
DSTAT – это эффективный, гибкий и надежный инструмент для создания статистики ресурсов ОС Linux, который можно использовать вместо всех предыдущих инструментов. Ниже приведены некоторые из общих функций, предлагаемых инструментом Dstat:
Как установить DSTAT в Linux
Вы можете установить его, выполнив тот же процесс. Он доступен в дистрибутиве Linux. Пакеты. Итак, для продолжения установки из командной строки можно выполнить следующую команду:
Выполнение команд DSTAT для анализа производительности диска
В инструменте DSTAT есть несколько команд для анализа активности диска с другой точки зрения. Ниже приведены несколько наиболее часто используемых команд:
dstat: эта команда показывает чтение всех дисков и все параметры, описанные выше, такие как общее количество отправленных, полученных байтов, время ожидания, время простоя, время чтения/записи, статистика диска и т. д.
dstat –vmstat: эта команда производит вывод, содержащий данные, относящиеся к процессам и статистике памяти.
Таким образом, DSTAT предлагает множество других команд, которые могут быть выполнены для извлечения данных, связанных с производительностью диска и сети, и их подробного анализа.
ATOP особенно полезен, когда есть необходимость проанализировать изменения на системном уровне. Он выполняет фантастическую работу по информированию об улучшениях с течением времени. Он может составлять таблицы всех процессов, которые вызвали любые изменения на уровне системы (например, выполнение ввода-вывода диска) в течение определенного периода, в отличие от других – эта функция предоставляется только ATOP.
Это альтернативный инструмент, который можно использовать для анализа дисковых ресурсов. Он также может анализировать серверы на базе Linux, параметры, связанные с сетью, и т. д. Использование этого инструмента дает несколько преимуществ, помимо того, что мы обсуждали выше, и вот некоторые из них:
Как установить ATOP в Linux
Atop можно установить в операционных системах на основе Ubuntu, выполнив следующую команду. Эта команда извлекает пакет из репозитория Linux по умолчанию.
Выполнение команд ATOP для анализа производительности диска
Ниже перечислены некоторые из команд, предлагаемых инструментом поверх, с помощью которых пользователи могут выполнять различные наборы действий для анализа использования диска своей системы и связанной с этим пропускной способности сети:
IOPING
IOPING – это своего рода инструмент, который предлагает разные функции. Этот инструмент специально используется для анализа задержки диска, то есть того, сколько времени требуется конкретному диску, чтобы ответить на конкретный запрос чтения-записи.
Как установить IOPING в Linux
Чтобы установить IOPING в операционных системах Linux, мы можем выполнить следующую команду терминала:
Выполнение команд IOPING для анализа производительности диска
Ниже перечислены некоторые команды инструмента IOPING, с помощью которых пользователи могут проверять проблемы, связанные с задержкой, и легко их устранять.
Заключение
В этой статье мы обсуждали различные инструменты, которые можно использовать для мониторинга активности диска в операционных системах на базе Linux. Каждый инструмент предоставляет свой собственный набор функций, которые помогают пользователю анализировать, как его система ведет себя изнутри.
Путем подробного анализа системные администраторы могут внести желаемые изменения в конфигурацию своей системы, чтобы сделать ее работу быстрее и плавнее. Эти инструменты дают результаты, которые показывают текущее состояние системы, работоспособность диска, использование полосы пропускания сети и многое другое.
С помощью этих инструментов системные администраторы могут оперативно устранять проблемы, связанные с дисками и операционными системами. Это позволит им сэкономить время при устранении неполадок и поддерживать свою систему в надлежащем состоянии при выполнении задач по интенсивному использованию ресурсов.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.