Как посмотреть логи ESXI, за минуту

Добрый день! Уважаемые читатели и гости IT блога Pyatilistnik.org. Любой системный администратор просто обязан уметь производить диагностику и мониторинг своих служб и сервисов. Он должен знать где хранятся события служб и уметь их анализировать. Не так давно я вам подробно расписывал, как посмотреть логи Windows платформ, сегодня же мы разберем, где и как посмотреть логи ESXI гипервизора. Хотя сама система монолитная и стабильная, но и там приходится отлавливать различные нестандартные события, о которых вам могут подробно рассказать только логи.

Методы просмотра логов ESXI

Предположим у вас в инфраструктуре есть несколько установленных VMware ESXI 6.5 хостов и нет vCenter для управления ими, где централизовано можно мониторить логи.Случается какой-то инцидент и вам необходимо провести расследование, чтобы выяснить причину. Вот для таких вот ситуаций вы должны знать, где располагаются логи ESXI. Методов их посмотреть уйма, я вам покажу самые простые из них.

• Посмотреть логи VMware ESXI хоста можно из shell оболочки
• Получить доступ и выгрузить логи вы можете и через ssh клиента
• С помощью веб интерфейса, удобно так как метод является кросплатформенным
• Через оболочку и комадлеты PowerCLI

Месторасположение журналов в VMware ESXI

Перед тем, как я вам покажу все методы, я вам приведу сводную информацию, о том, где собственно лежат все файлы с логами. Напоминаю, что гипервизор построен на базе операционной системы Red Hat Enterprise Linux (RHEL), а из этого следует, что все логи располагаются в каталоге /var/logs/:

• auth.log - один из важнейших журналов безопасности в ESXI. Сюда попадают данные, о всех подключениях по SSH к хосту. В файле можно обнаружить вот такие записи:

Тут будет информация, о том, кто подключился и с какого ip-адреса, это полезно для аудита безопасности.

• Файл boot.gz - данный архив содержит в себе текстовый файл, в который заносится информация, о всех загружаемых компонентах, драйверах. устройствах ESXI хоста. Разархивировать и посмотреть содержимое файла, можно с помощью обычного RAR архиватора.
• clomd.log - Когда вы запускаете хост ESXi или повторно сканируете адаптер, хост обнаруживает все физические пути к устройствам хранения, доступным хосту. На основе набора правил утверждений хост определяет, какой подключаемый модуль многопутевого (multipathing) распространения (MPP) должен запрашивать пути к конкретному устройству и становится ответственным за управление поддержкой многопутевого распространения для устройства. Информация, о сканировании будет в файле clomd.log
• configRP.log - сюда записываются изменения пула ресурсов
• dhclient.log - Журнал DHCP-клиента, включая обнаружение, запросы на аренду и продление адресов.

• esxcli-software.log - содержит события, проверки подгружаемых VIB пакетов
• esxupdate.log - лог по патчам исправления и обновлениям
• hostd.log - Журналы службы управления хостом включают в себя задачи и события виртуальной машины и хоста ESXi, связь с агентом vSphere Client и VMware vCenter Server vpxa, а также соединения SDK.
• hostdCgiServer.log - Автономная служба CGI, которая обрабатывает все HTTP-запросы для URL/cgi-bin. Она была перемещена из процесса hostd в собственный демон, чтобы у нас был способ собрать пакет vm-support, если hostd заблокирован.
• hostd-probe.log - Проверяет доступность службы управления хостом

• hostprofiletrace.log - Журналы профиля хоста
• iofilter-init.log - логи iofilterd_spm модуля
• iofiltervpd.log - VAIO это платформа, которая позволяет третьим сторонам (партнерам) разрабатывать фильтры, которые работают в ESXi и могут перехватывать любые запросы ввода-вывода из гостевой операционной системы на виртуальный диск. IO не будет выпущен или зафиксирован на диске без обработки IO Filters, созданной третьими лицами. Фильтры выполняются внутри ESXi, а не в виртуальной машине. Кроме того, VAIO Framework обеспечивает централизованную установку и обновление. Логи, о данных событиях будут в данном журнале.

• jumpstart-stdout.log - содержит информацию, о стартуемых плагинах
• lacp.log - Журналы протокола управления агрегацией каналов (LACP)
• nfcd.log - Журнал стека TCP/IP
• rabbitmqproxy.log - rabbitmqproxy, прокси, работающий на хосте ESXi, который позволяет приложениям, работающим на виртуальных машинах, обмениваться данными с брокерами AMQP, работающими в сетевом домене vCenter.
• rhttpproxy.log - HTTP-соединения проксируемые от имени других веб-сервисов хоста ESXi

• sdrsinjector.log - Журнал инжектора устройства vSphere Storage DRS (Подробнее https://kb.vmware.com/s/article/2149938)
• shell.log - Журналы использования ESXi Shell, включая включение/отключение и каждую введенную команду. В моем примере видно, что я вводил в консоли shell команду uname -a, для просмотра ядра.

• storagerm.log - Storage I/O Control логи
• swapobjd.log - Swap VVol Object Daemon логи
• sysboot.log - Журнал загрузки системы. Записывает события ESXi Power-ON, Power-OFF и события перезапуска
• syslog.log - Инициализация службы управления, дисковые устройства, запланированные задачи и использование DCUI.
• usb.log - Информация об устройствах USB, такая как обнаружение и передача, проброс на виртуальные машины.
• vitd.log - vSAN iSCSI target Daemon. Содержит события целевой службы vSAN iSCSI.
• vmauthd.log - информация об аутентификации
• vmkdevmgr.log - Журнал диспетчера устройств VMware. Содержит информацию об устройствах, подключенных к хосту ESXi, таких как NIC, HBA
• vmkernel.log - Базовые журналы VMkernel, в том числе данные об обнаружении устройств, хранении и сетевых устройствах, а также информация о драйвере, а также информация о запуске виртуальной машины и событиях драйвера.
• vmkeventd.log - Это утилита для захвата событий VMkernel
• vmkwarning.log - Сводка сообщений журнала предупреждений и предупреждений, взятых из журналов VMkernel.
• vmksummary.log - Сводная информация о запуске и завершении работы хоста ESXi, а также о ежечасном heartbeat с указанием времени безотказной работы, количества запущенных виртуальных машин и потребления ресурсов службы.
• vmware-vmsvc.log - лог, о версии Vmware Tools
• vobd.log - Наблюдение за событиями VMkernel.
• vprobe.log - Гибкая система динамического инструментария, предназначенная для обеспечения глубокого наблюдения за ESXi и виртуальными машинами, работающими на нем.
• vpxa.log - Журналы агента vCenter Server vpxa, включая связь с vCenter Server и агентом hostd Host Management.
• vvold.log - Журнал виртуальных томов
• vsanmgmt.log - vSAN Management Service.
• vsansystem.log - vSAN System Managed Service.
• vsanvpd.log - vSAN Storage Provider Daemon

Просмотр логов ESXI через shell оболочку

Теперь когда мы с вами знаем, о месторасположении и назначении каждого из журналов ESXI хоста, мы можем рассмотреть методы их просмотра. Первым будет самый классический, редко используемый, через Shell оболочку. Для выполнения данного метода необходимо либо физическое присутствие перед монитором сервера, либо же обладать портом портом управления, который позволяет, через Java или HTML консоль видеть изображение с сервера, например ILO, IPMI, IMM или IDRAC.

Логинимся на сервер через DCUI интерфейс и находим пункт меню "View System Logs". У вас будут шесть пунктов:

1. Syslog
2. VmKernel
3. Config
4. Management Agent (hostd)
5. VirtualCenter Agent (vpxa)
6. Vmware ESXI Observation log (vobd)

Для примера я выберу цифру 1 и посмотрю системные логи. Перед вами будет окно с логами ESXI, для перемещения вы можете использовать стрелки вниз или вверх, если нужно быстрее, то клавиши Page Up или Page Down.

Полный список команд можно получить нажав клавишу "H". Выход в меню DCUI осуществляется через кнопку Q. Кстати если вы нажмете сочетание клавиш Alt+F12, то вы перейдете в лог vmkernel. Выйти из него Alt+F2. Alt+F1 даст вам доступ в shell консоли, где вы легко можете перемещаться по каталога гипервизора.

Просмотр логов ESXI через браузер

Данный метод более универсальный и кросплатформенный, для его реализации нам понадобится всего лишь браузер, желательно свежий. В адресной строке введите путь:

У вас появится форма авторизации, указываем логин и пароль.

На выходе вы получите полный список логов гипервизора. Кликнув по нужному он скачается у вас в браузере, после чего вы можете открывать его любым текстовым редактором.

Просмотр логов ESXI через ssh

Данный метод так же очень простой и потребует ssh клиента, и предварительное включение ssh на ESXI. Тут нужно отметить два варианта доступа. Первый это классическая ssh консоль, где вы можете водить команды для просмотра нужного лога:

Либо вы может использовать графическое подключение через ssh, например, через WinSCP. У вас будет обычный файловый менеджер, где вы легко найдет нужный вам лог.

Просмотр логов ESXI через web-интерфейс

Начиная с версии ESXI 6, у гипервизора появился свой веб-интерфейс, для этого просто откройте в браузере вот такой путь:

В левом меню выберите пункт "Monitor", далее вкладку "Logs", тут в верхней части будет список всех файлов, если выбрать любой из них, то вы увидите его содержимое.

Для удобства просмотра вы можете открыть его в новом окне

Либо сгенерировать пакет со всеми логами, так называемый "Bundle". Нажимаем "Generate support bundle". У вас появится задание по генерации.

Загружаем его, пакет в среднем весит около 100 мб.

Просмотр логов ESXI через Power-CLI

Есть еще один быстрый способ выгрузить boundle пакет, используя для этого командлеты Power-CLI. Открываем оснастку и соединяемся с сервером:

У вас выскочит форма авторизации, введите логин и пароль, после чего у вас должен появиться статус.

Для генерации пакета с логами ESXI введите команду:

В результате чего у вас в C:\logs появится пакет, который будет так же некоторое время генерироваться.

Еще можно централизованно собирать логи на сервер коллектор, но это уже другая история. С вами был Иван Семин, автор и создатель IT блога Pyatilistnik.org.