Имеем:
VMware ESXi 5.5
Различные гостевые системы.
Снапшотов (snapshots) на момент проблемы нет
Симптомы:
Ухудшение производительности некоторых гостевых систем
Падение скорости записи на хосте до 4-6 Мбайт в секунду
Возможная причина:
Некорректное завершение работы при существующих снапшотах или в момент создания снапшота. Какие-то другие причины которые нарушили работу со снапшотами.
Как исправить:
Нужно сделать процедуру consolidation для виртуальных машин с проблемной ситуацией. В vSphere client на вкладке Summary для такой машины будет выдаваться предупреждение:
Configuration Issues Virtual machine disks consolidation is needed
Подробнее:
Другая возможная причина:
Гостевая система использует свой механизм выстраивания очереди запросов к дисковой подсистеме, что в виртуальной среде может привести к ухудшению производительности поскольку происходит накладка
с механизмами организации очереди в гипервизоре. Например: в гостевых системах Linux на базе 2.6 ядра по умолчанию используется механизм Completely Fair Queuing .
VMware советует включать другой: noop или Deadline.
Проверить:
# cat /sys/block/disk/queue/scheduler
Изменить временно:
# echo noop > /sys/block/sda/queue/scheduler
Изменить постоянно:
Прописать опцию загрузки ядра в /boot/grub/menu.lst
title CentOS (2.6.18-128.4.1.el5) root (hd0,0) kernel /vmlinuz-2.6.18-128.4.1.el5 ro root=/dev/VolGroup00/LogVol00 elevator=noop initrd /initrd-2.6.18-128.4.1.el5.img
Подробнее: Linux 2.6 kernel-based virtual machines experience slow disk I/O performance
Причина найденная в данном кейсе:
HP Smart Array P420i Controller установленный на хосте (HP ProLiant DL380P G8) после сбоя питания выключил write cache, что и привело к такому сильному снижению
скорости записи. Выключение скорей всего произошло из-за разрядки батареи, но почему не произошла зарядка батареи и включение кэша после восстановления питания — непонятно.
iLO никаких варнингов не показывало.