Пропала виртуальная машина vmware

Всем привет, сегодня хочу поделиться вот такой проблемой, с которой я столкнулся совсем недавно, а именно пропала виртуальная машина vmware. Пропала в прямом смысле слова, вот симптомы, в списке доступных vm она виделась в inventory, но вот самой папки на датасторе не было, просто исчезла, и куда пропала не ясно. Представим себе спокойный вечер администратора, время уже 19 или поболее, все спокойно, все шуршит как нужно, админ собирается домой, но тут приходит смс, о том что лег один виртуальный сервер. Зайдя на vCenter виртуалка была выключена вот с такой ошибкой "Cannot power on virt. File *.vmdk was not foud". Что запуск не возможен с отсутствием диска vmdk. Давайте попробуем разобраться и понять, что случилось и как это исправить.

Вот скриншот, логов полученных в vCenter сервере.

Зайдя в свойства выключенной виртуалки, я обнаружил, что диск весит 0 мегабайт, и как я писал выше этой папки с его дисками и конфигурацией просто не было. Не мудрено почему она не запускалась 🙂

Также нашел вот такой косяк, как оказалось файл виртуального диска лежит на одном луне, а вот конфиг на другом, возможно это тоже повлияло на снятие снапшота и его краш, но это не объясняет пропажу файлов.

Пока искал логи запустил восстановление из бэкапа, продолжаем смотреть логи, находим событие An error occurred while taking a snapshot: msg.snapshot.error-CHECKPOINT

В данной ошибке видно, что сервер резервного копирования виртуальных машин Veeam, не смог сделать снапшот, и логично, файлов виртуалки то нету. Смотрим дальше события по данной vm. Находим, что реально была попытка снятия снапшота, для бэкапирования.

на самом veeam backup & replication лог выглядел вот так, видно, что была попытка сделать snapshot, но положить его было не куда, директории то нет.

Еще удалось нагуглить, что ошибка An error occurred while taking a snapshot: msg.snapshot.error-CHECKPOINT может возникать из за Vmware tools, но это не объясняет пропажу папки с файлами машины. Я пробовал провести эксперимент и провести диверсию, подключиться по ssh и удалить папку виртуальной машины, что не обрадовало, часть файлов он дал удалить, виртуалка сломалась, но с другой ошибкой и диск не виделся как 0 мегабайт, да и в логах было видно эту попытку.