У одного из наших клиентов, которому мы оказываем услуги ИТ аутсорсинга, на сервере HPE Proliant Gen8 периодически стала сбоить дисковая подсистема, построенная на отказоустойчивой технологии raid5. Анализ ситуации показал, что причина сбоев кроется в жестких дисках. На протяжении четырёх лет они работали постоянно, с высокой нагрузкой (сервер выполнял роль базы данных 1с Предприятие). На дисках стали появляться сбойные секторы, из-за чего рейд-контроллер начал часто выполнять проверку целостности. Менять диски по одиночке мы не стали, было принято решение создать массив из новых дисков с полной переустановкой Windows Сервер (тем более, что за это время вышла его новая версия). Все операции для нас — весьма обыденные и сюрприза никто не ждал.
Сделали резервные копии всех ценных данных, которые также остались на старом массиве. Достали старые диски из сервера и установили новые. Далее предстояло создать новый рейд-массив. Для этого нужно было после включения сервера зайти в фирменную утилиту HPE Intelligent Provisioning.
Каково было наше удивление, когда при попытке запуска Intelligent Provisioning на мониторе был только чёрный экран.
Сначала мы предположили, что версия Intelligent Provisioning устарела и не хочет загружаться, т.к. в процессе эксплуатации сервера мы обновляли только важные драйверы и систему HPE Integrated Lights-Out v4 (iLO) из-за найденных в ней уязвимостей. Решили обновить всё. Скачали последнюю версию образа HPE Service Pack for ProLiant (SPP) Gen8, которая доступна нам как партнерам HP, запустили, обновили всё, что нашлось нового. Но, к сожалению, там не было ничего про обновление HPE Intelligent Provisioning. После рестарта сервера она всё ещё не запускалась.
Погуглили и выяснили, что нам, вероятно, поможет другая утилита, под названием Intelligent Provisioning Recovery Media. По информации с сайта HP — она может восстановить и обновить Intelligent Provisioning на сервере.
Смонтировали образ через iLO и загрузили. В процессе запуска получили вот такое сообщение: BMC unresponsive unable to continue.
Почитали инструкцию, там написано что образ через iLO лучше не монтировать, т.к. в процессе обновления он может отвалиться. В сервере нет DVD привода, а у нас чистых болванок. Проблема. Потратили время, добыли всё что надо. Загрузились с DVD и опять получили ошибку BMC unresponsive unable to continue. Проблема была не в образе.
В процессе гугления и множественных перезагрузок сервера заметили, что iLO как-то ненормально подтормаживает, но не обратили внимания. Далее, в процессе загрузки сервера, заметили неприметную надпись: iLO self test error, которая очень быстро исчезала. Решили, что с iLO что-то не так, заново перезалили последнюю прошивку, но надпись не исчезла. Снова погуглили, и обнаружили информацию о том, что из-за сбоя в NAND памяти iLO, журналы HPE Active Health System (AHS) и профили HPE OneView становятся недоступны, что приводит к ошибке самотестирования iLO self test error. Это и является причиной заторможенной работы, которую мы наблюдали ранее. Ну и конечно, Intelligent Provisioning не будет работать при нажатии клавиши F10. БИНГО!
В качестве решения предлагается отформатировать эту самую NAND память. Для этого создаём файл Format.xml такого содержания:
[pastacode lang=»markup» manual=»%3CRIBCL%20VERSION%3D%E2%80%9D2.0%E2%80%B3%3E%0A%3CLOGIN%20USER_LOGIN%3D%E2%80%9DAdministrator%E2%80%9D%20PASSWORD%3D%E2%80%9D%E2%80%9D%3E%0A%3CRIB_INFO%20MODE%3D%E2%80%9Dwrite%E2%80%9D%3E%0A%3CFORCE_FORMAT%20VALUE%3D%E2%80%9Dall%E2%80%9D%20%2F%3E%0A%3C%2FRIB_INFO%3E%0A%3C%2FLOGIN%3E%0A%3C%2FRIBCL%3E» message=»» highlight=»» provider=»manual»/]
и запускаем его через фирменную утилиту, конфигурирования iLO
hpqlocfg -s -l c:\temp\hpqcfg.log -f c:\temp\Format.xml -v -t user=Administrator,password=
Указывать необходимо те логины и пароли, которые предоставляют полный доступ к iLO.
После выполнения скрипта iLO перезагрузится и заново инициализирует NAND память.
Ждем 5 минут, запускаем Intelligent Provisioning, старая версия загрузилась нормально. Ну, гулять так гулять — убили кучу времени, можно и обновить и Intelligent Provisioning до новейшей версии.
Запускаем управление рейд-контроллером, делаем пятый рейд, устанавливаем Windows.
В завершение устанавливаем драйверы, обновления, SQL сервер, 1с предприятие, делаем настройки на максимальную производительность.
Работа выполнена.