Не загружаются blade в IBM BladeCenter после аварии с электричеством

Всем привет сегодня хочу поделиться опытом когда не загружаются blade в IBM BladeCenter после аварии с электричеством. Опишу ситуацию и схему работы системы. Есть NetApp который отдает свои lun ibm блейдам HS22 по протоколу FC через fc broadcade свитчи, на blade настроена загрузка boot from san,  и вот в один прекрасный день большой UPS APC в 20 киловатт выходит из строя и вся стойка с этим добром отваливается. После восстановления электричества работает все кроме блейдов, точнее они работают но не загружаются и уходят в вечную перезагрузку с иницилизацией.

Сразу хочу отметить что broadcade свитчи и Lun на NetApp были в рабочем состоянии. Первое что нужно проверить это зайти в BIOS blade hs22, сделать это можно с помощью встроенного kvm в Remote Control. После инициализации вам предложат нажать F1 для попадания в setup. Переходим в пункт System Settings

Далее в Emulex Configuration Utility Ver:4.12X2

переходим в единственный пункт Emulex Configuration Setup Utility

Выбираем любой из адаптеров

Видим статус RECONNECT DEVICES, делаем Scan for Fibre Device

И видим, что Link is Down, в большинстве случаев это проблема с I/O Module Configuration

Переходим в снова в наш IBM BladeCenter нас будет интересовать пункт I/O Module Tasks

I/O Module это модуль для управления fc портами с блейд центра.  С помощью него можно смотреть статистику сетевого трафика на каждый блейд и много других полезных вещей. Так как у нас пропадало электричество то порты на I/O Module могли зависнуть либо модуль вообще не включился. Включить I/O Module можно в пункте Available actions. Еще полезным будет нажать view, благодаря этому мы узнаем ip адрес веб интерфейса для управления FC портами.

Вот список команд по работе с I/O Module

Вот как будет выглядеть информация об ip адресе веб интерфейса

Обратившись по этому адресу у вас откроется окно со вводом логина и пароля

Стандартный логин и пароль I/O Module это USERID/PASSW0RD.

Перед нами открывается switch для управления fc портами IBM BladeCenter.

Давайте посмотрим карту портов, идем в пункт меню Port-Map Ports

Вот так вот приблизительно у вас должна выглядеть карта портов, один основной и второй запасной.

Если у вас какие то из портов красные значит они offline, для включения их выберем нужный порт и в верхнем меню переходим в пункт Port-Port Properties

И выставляем чтобы порт был в статусе online.

Так нужно проверить все порты, после чего все ваши блейды успешно загрузятся с Boot from San и работа будет восстановлена.

в BIOS можно проверить что Lun определились.

Если нет сети на блейдах

Так же может быть ситуация, что ethernet свитчи, тоже переведут порты управления в состояние DOWN, их нужно включить. Их должно быть два, ip адреса свитчей можно посмотреть в I/O Module Power.

Переходим в пункт, Dashboard

Далее идем в Switch Ports, у вас будет список портов, убедитесь, что порты int включены.

и самое главное убедитесь, что порты MGT в состоянии включено
Если они в offline, то переводим их в online.

Материал сайта pyatilistnik.org