Объединение сетевых карт (Nic Teaming) в Windows Server 2019

Объединение сетевых карт (Nic Teaming) в Windows Server 2019

nic teaming windows server 2019Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов в рунете Pyatilistnik.org. В прошлый раз мы с вами разобрали вопрос, что такое cookie, их использование и удаление в случае необходимости. Сегодня я хочу написать пост на тему системного администрирования, а именно мы разберем, как производится объединение сетевых карт в Windows Servwer 2019, разберемся с понятием Nic Teaming, каких видов он может быть и какие сценарии его использования. Думаю, что эта информация окажется полезной.

Что такое Nic Teaming

Сейчас когда бизнес уже очень сильно зависит от доступности его сервисов, таких как корпоративная почта, файловый сервер, сайт с веб приложениями и CRM, и многое другое очень сильно встает вопрос по организации отказоустойчивости на разных уровнях. Одним из таких уровней является сетевой. В данной статье нам нужно рассмотреть про организацию отказоустойчивой сети в вашем Windows Server 2019. Сейчас уже себе сложно представить сервер, у которого было бы сетевых интерфейсов меньше двух, чаще всего их четыре и более. Раз они есть, то было бы здорово их объединить и использовать, как одно целое решая тем самым:

  • Отказоустойчивость сетевой доступности
  • Увеличение пропускной способности

объединение сетевых карт

Microsoft начиная с Windows Server 2012 услышала администраторов и внедрила в свою операционную систему функционал Nic Teaming. Объединение сетевых карт (Nic Teaming Network Interface Card Teaming (Load Balancing/Fail Over (LBFO))) - это технология группировки физических или виртуальных сетевых карт в один или несколько программных сетевых адаптеров, решающих проблемы в случае сбоя оборудования.

Концепция Nic Teaming

На текущий момент вы можете спокойно объединить в Windows Server 2019 от двух до 32 сетевых карт в один или несколько пулов.

Предположим, что у нас вышел из строя один сетевой адаптер, в результате прохождение трафика перестроилось.

Перестройка трафика при выходе из строя сетевой карты

Ранее Nic Teaming мог быть реализован только посредством установки специальных драйверов на ваши сетевые карты. Эти драйвера позволяли вам через свойства сетевых адаптеров собирать пулы. Бывало так, что у вас на физическом сервере могли быть сетевые карты разных производителей, и в таком сценарии вы могли иметь проблемы с объединением сетевых карт. Благодаря встроенной возможности Windows Server 2019 эта проблема минимизируется.

Хочу отметить, что данная технология не нова и давно уже реализована и используется на сетевом оборудовании, там она называется LACP, или на системах хранения, например у Synology, там она называется Bonding, в Linux то же Bonding.

Требования и ограничения к Nic Teaming в Windows Server 2019

Как сказано в документации Microsoft драйвер сетевой карты должен иметь цифровую подпись Windows Hardware Qualification and Logo (WHQL). Если WHQL имеется, то вы может объединять адаптеры разных производителей.

https://docs.microsoft.com/ru-ru/windows-server/networking/technologies/nic-teaming/nic-teaming

Нужно учитывать, что для работы Nic Teaming сетевые карточки должны иметь одинаковую пропускную способность, если вы используете объединение от других производителей, то не используйте их совместно с инструментом Microsoft.

Так же вы не сможете объединить в группу карточки которые работают не по технологии Ethernet, такие как WWAN, Wi-FiInfiniband, сетевые адаптеры отладки ядра (KDNIC). Так же есть ряд технологий, которые не поддерживаются технологией объединения сетевых карт:

  • TCP Chimney. TCP Chimney не поддерживается, так как TCP Chimney разгружает весь сетевой стек непосредственно к сетевому адаптеру.
  • Для SR-IOV данные доставляются непосредственно на сетевой Адаптер без передачи через стек сети в виртуализации. Таким образом он не поддерживается для сетевых карт, для проверки или перенаправлять данные на другой маршрут в объединении.
  • При настройке Qos, когда вы активируете политику качества обслуживания, тут могут быть проблемы из-за ограничения полосы пропускания

Методы настройки объединения сетевых интерфейсов

Существует три метода и два подхода по настройке ваших сетевых карт в общую сетевую группу:

  1. Первый метод, это локальный непосредственно на вашем сервере
  2. Второй метод, это удаленный подразумевает, что вы используете инструменты позволяющие вам выполнить настройку на удаленной системе.

Из инструментов я могу выделить:

  1. Использование оснастки "Диспетчер серверов"
  2. Командлеты PowerShell

Настройка Nic Teaming в Windows Server 2019

Производить настройку Nic Teaming я буду в моем тестовом домене Active Directory root.pyatilistnik.org. У меня есть виртуальная машина с установленной Windows Server 2019, где выполнена базовая настройка перед вводом в эксплуатацию. Так как я этот сервер использую, как хост управления Windows Admin Center и WDS сервер ,то мне хочется, чтобы он был более отказоустойчивый и производительный в плане пропускной способности.

Использование диспетчера серверов

Данный метод самый простой и часто используемый, так как подходит большинству системных администраторов, он позволит вам производить настройки тиминга и на серверах Windows Core. Открываем диспетчер серверов, в моем примере на сервере SVT2019S01, у него есть четыре гигабитные сетевые карты intel 82574L. Как видно по умолчанию в Windows Server 2019 объединение сетевых карт отключено, щелкаем по настройке.

Настройка Nic Teaming в Windows Server 2019

В статье по настройке сети в Windows Server 2019 я вам показывал команду PowerShell показывающую вам сетевые настройки:

Get-NetIPConfiguration

Список сетевых карт через PowerShell

В результате видно, что мои адаптеры имеют 4 разных Ip-адреса, один статический 192.168.31.3 и три динамических, полученных от DHCP-сервера. Я сделаю пул состоящий из четырех сетевых адаптеров и назначу ему IP-адрес 192.168.31.3.

В результате у вас должно открыться окно "Объединение сетевых карт", оно будет разбито на три раздела:

  1. Раздел серверы - тут вы можете добавлять удаленные сервера для управления тимингом
  2. Раздел группы - тут вы создаете группы "Windows Nic Teaming"
  3. Адаптеры и интерфейсы - список ваших сетевых адаптеров, которые вы будите добавлять в группы

Окно Объединение сетевых карт

Объединение сетевых карт у нас начинается с создания новой группы. В разделе группы, нажмите кнопку "Задачи" и выберите пункт "Создать группу".

Создание группы при объединение сетевых карт

Откроется окно создания группы. Тут вам нужно выбрать под себя и свои задачи ряд параметров, а именно:

  • Задайте удобное для вас имя Nic Teaming, отмечу, что оно ни на что не влияет
  • Выберите адаптеры участники - это те сетевые адаптеры которые вы хотели бы видеть у себя в группе интерфейсов, я пока выберу два, остальные добавлю в момент, когда группа уже создана

Нажмите кнопку "Дополнительные свойства", в ней весь сок. Тут вы сможете настроить:

    • Режим поддержки групп
    • Режим балансировки нагрузки
    • Резервный адаптер - это если вы хотите какой-то сетевой интерфейс держать про запас и если кто-то из группы будут не доступны, то он включится в дело и всех спасет, Нужно учитывать, что он не будет участвовать в передачи данных.
  • Основной групповой интерфейс

Создание nic teaming windows server 2019

Режимы поддержки групп

Режим поддержки групп (Teaming Mode) - это два режима, которые задают как у вас будет работать ваше объединение сетевых карт. Как я писал выше у вас три варианта: "Не зависит от коммутатора (Switch Independent)", "Статическая поддержка групп (Static Teaming) (IEEE 802.3ad draft v1)" и LACP (Link Aggregation Control Protocol (LACP, IEEE 802.1ax)).

  • Не зависит от коммутатора (Switch Independent) - данный режим позволяет вам подключать сетевые адаптеры сервера к разным коммутаторам, добиваясь тем самым отказоустойчивости. Независимые от коммутатора опции означают, что нам не нужно вносить какие-либо изменения конфигурации на стороне коммутатора. Использование "Не зависит от коммутатора" означает, что исходящий трафик будет сбалансирован по нагрузке с использованием выбранного нами алгоритма, но поскольку коммутаторы не знают о балансировке нагрузки, входящий трафик не будет сбалансирован по нагрузке. Входящий трафик получает основной сетевой интерфейс, в случае если он сбоит, его функции перейдут другому адаптеру.

Не зависит от коммутатора (Switch Independent)

  • Статическая поддержка групп (Static Teaming) (IEEE 802.3ad draft v1) - данный режим требует настройки коммутатора, чтобы он мог работать с командами Nic Teaming Windows Server 2019, и сетевые адаптеры должны быть подключены к одному и тому же коммутатору. Еще раз, цитируя официальную документацию : «Команды, зависящие от коммутатора, требуют, чтобы все члены объединения были подключены к одному и тому же физическому коммутатору или коммутатору с несколькими шасси, который разделяет идентификатор коммутатора между несколькими шасси». При статической поддержке групп вам необходимо в ручном режиме произвести настройки на вашем коммутаторе, вы выделяете под это дело статические порты и формируете группу. Этот режим обычно поддерживается коммутаторами серверного класса.

В режиме "Статическая поддержка групп" исходящий трафик при режиме балансировки (Хэш адреса "Address Hash") будет распределяться между всеми активными адаптерами в группе объединенных сетевых карт. Входящий трафик так же будет перенаправлен в соответствии с заданным алгоритмом нагрузки, который задан на коммутаторе.

Статическая поддержка групп (Static Teaming)

  • LACP (Link Aggregation Control Protocol (LACP, IEEE 802.1ax)) - данный режим требует настройки коммутатора, режим намного более динамичен. Мы настраиваем коммутатор, а не отдельные порты, что означает, что мы можем перемещать кабели, и мы все равно получим сценарий с балансировкой нагрузки. Когда коммутатор настроен, он узнает о вашей сетевой группе и обрабатывает динамическое согласование портов.

Режим балансировки нагрузки

При объединении сетевых карт вам не только нужно выбрать режим поддержки, но и еще необходимо задать режим балансировки, коих целых три:

  • Хэш адреса (Address Hash)
  • Порт Hyper-V (Hyper-V Port)
  • Динамический (Dynamic)

Ниже я расскажу про каждый из них.

Режим балансировки нагрузки

  • Хэш адреса (Address Hash) - как можно догадаться из названия в данном режиме балансировки происходит вычисление хэш на основе адреса отправителя и получателя. Вычисленный хэш будет ассоциироваться с каким либо сетевым адаптером, и пакеты с таким хэшем будут прилетать именно ему. Хэш может вычисляться на основе следующих значений (Задаются через PowerShell):
  1. MAC-адрес отправителя и получателя;
  2. IP-адрес отправителя и получателя (2-tuple hash);
  3. TCP-порт отправителя и получателя и IP-адрес отправителя и получателя (4-tuple hash).

Если вы выбираете режим на основе портов, то это равномерное распределение трафика, но если у вас трафик не TCP/UPD, то применяться будет режим IP-адреса, если трафик не IP, то будет хэш на основе MAC-адреса.

Хэш адреса (Address Hash)

  • Порт Hyper-V (Hyper-V Switch Port) - Балансировка нагрузки порта Hyper-V связывает виртуальную машину с конкретным сетевым адаптером в группе, что может хорошо работать для хоста Hyper-V с многочисленными виртуальными машинами, так что вы распределяете их сетевой адаптер между несколькими сетевыми картами в вашей группе. Весь исходящий трафик данной ВМ всегда передается через этот сетевой адаптер. В данном режиме такой вид балансировки назначает независимые MAC-адреса виртуальным машинам. Этот режим очень хорошо работает в сценариях, где вы объединяете много виртуальных машин на физическом хосте Hyper-V, но ни одна из них не генерирует сетевую нагрузку, превышающую пропускную способность одного сетевого адаптера в группе. Объединение сетевых карт использует порт коммутатора Hyper-V Virtual в качестве идентификатора, вместо того чтобы использовать MAC-адрес источника, так как в некоторых случаях виртуальные машины могут быть настроены с использованием более одного MAC-адреса на порту коммутатора.

Hyper-V Switch Port в nic teaming в windows server 2019

  • Динамический (Dynamic) - это опция по умолчанию, представленная в Server 2012 R2, которая рекомендована Microsoft и дает вам преимущества обоих ранее упомянутых алгоритмов: он использует хеширование адресов для исходящего трафика и балансировку портов Hyper-V для входящего с дополнительной встроенной логикой для балансировки в случае сбоев/затыков

Динамический (Dynamic)

Разобравшись с основными понятиями, можно продолжить объединение сетевых карт. В своем примере я для начала объединю в NIC Teaming два сетевых интерфейса "Ethernet0" и "Ethernet1". Дополнительные настройки я выберу:

  • Режим поддержки групп - Не зависит от коммутатора
  • Режим балансировки нагрузки - Хэш адреса
  • Резервный адаптер - нет (все адаптеры активны)

Создание NIC Teaming в Windows Server 2019

Применяем настройки, в итоге первый сетевой адаптер у вас сразу будет в зеленом, активном состоянии, дополнительный сетевой адаптер, может легко иметь статус "Неисправный, ожидает подключения". Связано это с тем, что идет сборка NIC Teaming, так что можете не беспокоиться.

объединение сетевых карт в Windows Server 2019

Через пару секунд мы видим, что оба адаптера имеют статус "Активный" и все зелененькое.

Успешно собранный тиминг сетевых адаптеров в Windows Server 2019

В левой части вы будите видеть вашу группу объединенных сетевых интерфейсов и ее текущие настройки. Если необходимо их поменять, то кликаем по группе правой кнопкой мыши и из контекстного меню выберите пункт "Свойства".

Просмотр свойств NIC Teaming

В результате у вас откроется знакомое вам окно со всеми свойствами группы.

группировка сетевых карт в Windows Server 2019

Теперь давайте мы с вами откроем окно "Сетевые подключения", обратите внимание, что у вас появился новый виртуальный адаптер (Microsoft Network Adapter Multiplexor Driver). У него своеобразный значок, отличный от обычных карт, открыв его свойства вы сразу можете увидеть, что его скорость стала 2 Гбит/с, это логично, у нас же произошло сетевое объединение двух адаптеров по 1 Гбит/с. Открыв свойства подключения, я вижу, что получил динамический IP-адрес от моего DHCP сервера, при желании вы можете задать статические настройки.

Просмотр свойств виртуального адаптера NIC Teaming

Если вы теперь попытаетесь посмотреть свойства любого из сетевых адаптеров участвующих в тиминге, то у них уже не будет своего IP-адреса, так как он выступает в роли силинка (Это можно сравнить с обычным патч кордом подключенным от коммутатора к серверу)

Физический адаптер в роли силинка NIC Teaming

Убедиться в том, что это силинк можно. так же увидев, что в свойствах адаптера отключены пункты IP версии 4 и 6.

Протокол мультиплексора сетевого адаптера

Так же это можно проверить, через команду IPCONFIG, которая выведет три сетевых интерфейса.

Просмотр списка сетевых адаптеров в Windows Server 2019

Еще хочу обратить внимание, что на интерфейсе NIC Teaming появился новый драйвер "Microsoft Load Balancing/Failover Provider", он и участвует в алгоритме балансировки трафика.

Microsoft Load Balancing/Failover Provider

Добавление и исключение сетевых адаптеров из NIC Teaming

Давайте я в свою группу teaming-pyatilistnik добавлю третий сетевой адаптер. Для этого в диспетчере серверов в свойствах группы поставьте галки на против нужных. Я добавлю сетевые адаптеры "Ethernet2" и "Ethernet3", последний у меня будет, как резервный. Применяем.

Добавление и исключение сетевых адаптеров из NIC Teaming

Так же ждем настройки.

объединение сетевых карт в Windows

В итоге мы расширили наше объединение сетевых адаптеров, три активных и один резервный.

объединение сетевых карт из четырех адаптеров

Проверяем утилитой IPCONFIG, видим, что в моей Windows Server 2019 один сетевой интерфейс, но 4-ре физических адаптера. Тиминг готов.

Просмотр готовности NIC Teaming

Благодаря этому, я добился пропускной способности в 3 Гбит/с и с одним резервным адаптером.

Просмотр состояния NIC Teaming

Для того, чтобы удалить один из сетевых адаптеров из NIC Teaming, в свойствах просто снимаем галку.

Удаление интерфейса из объединения сетевых карт

Удаление происходит практически моментально.

Успешно удаленный сетевой интерфейс из NIC Teaming

Добавление группового интерфейса в нужный VLAN

Я уверен, что у вас не плоская сеть и вы используете VLAN для разделения трафика. Настроить номер VLAN можно в диспетчере задач, вкладка "Групповые интерфейсы", вызовите свойства вашей группы сетевых адаптеров.

Настройка VLAN на сетевом адаптере NIC Teaming

Ставим галку "Конкретная виртуальная ЛС", где в определенном поле нужно указать номер VLAN, обратите внимание, что данный номер будет дописан в название NIC Teaming.

  • Перед включением объединения сетевых карт настройте порты физического коммутатора, подключенные к узлу Teaming, для использования режима магистрали (неизбирательного). Физический коммутатор должен передавать весь трафик на узел для фильтрации без изменения трафика.
  • Не настраивайте фильтры VLAN на сетевых адаптерах с помощью параметров дополнительных свойств сетевого адаптера. Разрешите программе объединения сетевых карт или виртуальному коммутатору Hyper-V (при наличии) выполнить фильтрацию виртуальных ЛС.

Если вы планируете использовать VLAN внутри виртуальной машины Hyper-V, то настраивать виртуальную ЛС нужно на виртуальном коммутаторе, а не на группе объединения сетевых карт. Если у вас стоит задача в виртуальной машине использовать несколько виртуальных сетей, то вы каждый порт коммутатора настраиваете на нужный VLAN, никогда не делайте это внутри виртуальной машины. Если же вы используете виртуальные функций SR-IOV (VFs), то обязательно проверьте, что они находятся в одном VLAN, перед тем как их будите объединять.

Добавление группового интерфейса в нужный VLAN

Создание NIC Teaming через PowerShell

Чтобы создать сетевое объединение интерфейсов через командлеты, вам нужно открыть PowerShell от имени администратора. Первым делом вам нужно посмотреть список физических адаптеров, для этого введите:

Get-NetAdapter | FT -auto

Вывод списка сетевых адаптеров через PowerShell

В моем примере их 4-ре. Предположим, что я хочу объединить в NIC Teamin первые два адаптера "Ethernet1" и "Ethernet2".

Для создания мы будем использовать командлет New-NetLbfoTeam.

New-NetLbfoTeam -Name teaming-pyatilistnik -TeamMembers Ethernet1, Ethernet0 -TeamingMode SwitchIndependent -LoadBalancingAlgorithm TransportPorts

  • -Name -Мы задаем имя нашего объединения сетевых карт
  • -TeamMembers - указываем, какие сетевые адаптеры мы будем объединять
  • -TeamingMode - режим поддержки групп
  • -LoadBalancingAlgorithm - Режим балансировки

Ключи TeamingMode

  • LACP (Link Aggregation Control Protocol (LACP, IEEE 802.1ax))
  • Static (Статическая поддержка групп (Static Teaming) (IEEE 802.3ad draft v1))
  • SwitchIndependent (Не зависит от коммутатора (Switch Independent))

Ключи LoadBalancingAlgorithm

  • TransportPorts - это Хэш адреса (Address Hash)
  • HyperVPort - это Порт Hyper-V (Hyper-V Port)
  • Dynamic - это Динамический (Dynamic)
  • IPAddresses - Использует IP-адреса источника и назначения для создания хэша, а затем назначает пакеты, которые имеют совпадающее значение хэша, одному из доступных интерфейсов. При указании этого алгоритма с TeamingMode параметром и значением SwitchIndependent весь входящий трафик поступает на основной интерфейс группы.
  • MacAddresses - Использует исходные и целевые MAC-адреса для создания хэша, а затем назначает пакеты, которые имеют совпадающее значение хэша, одному из доступных интерфейсов. При указании этого алгоритма с TeamingMode параметром и значением SwitchIndependent весь входящий трафик поступает на основной интерфейс группы.

Вас спросят, действительно ли вы хотите создать объединенную группу сетевых интерфейсов, говорим "Y". Сразу вы увидите статус "Degraded", через некоторое время уже "Up".

Get-netLbfoTeam

Создание NIC Teaming через PowerShell

Хочу отметить, что если вы явным образом не задаете статические настройки сетевого адреса, то вы получите его от DHCP, если же стоит задача задать конкретный IP-адрес, то это можно сделать командой

New-NetIPAddress -InterfaceAlias teaming-pyatilistnik -IPAddress 192.168.31.31 -PrefixLength 24 -DefaultGateway 192.168.31.1

Set-DnsClientServerAddress -InterfaceAlias teaming-pyatilistnik -ServerAddresses 192.168.31.1

Настройка IP NIC Teaming powershell

Дополнительные примеры New-NetLbfoTeam https://docs.microsoft.com/en-us/powershell/module/netlbfo/new-netlbfoteam?view=win10-ps

Если нужно изменить поменять настройки вашей тиминговой группы, то для этого есть командлет Set-NetLbfoTeam. Допустим я хочу, чтобы режим поддержки групп был LACP, команда будет выглядеть вот так:

Set-NetLbfoTeam -Name teaming-pyatilistnik -TeamingMode LACP

Set-NetLbfoTeam : 'SwitchIndependent' is the only TeamingMode value supported in a Virtual Machine

Хочу отметить, что если вы попытаетесь, как и в моем примере сделать, это на виртуальной машине, то получите ошибку;

Set-NetLbfoTeam : 'SwitchIndependent' is the only TeamingMode value supported in a Virtual Machine

Она вам прямым текстом скажет, что на виртуалках можно использовать только режим SwitchIndependent, на железных серверах все будет работать. Теперь давайте поменяем режим балансировки на IPAddresses, для этого пишем:

Set-NetLbfoTeam -Name teaming-pyatilistnik -LoadBalancingAlgorithm IPAddresses

Смена режима балансировки NIC Teaming PowerShell

Дополнительную информацию, о командлете Set-NetLbfoTeam можете посмотреть по ссылке https://docs.microsoft.com/en-us/powershell/module/netlbfo/set-netlbfoteam?view=win10-ps

Добавление сетевых адаптеров из NIC Teaming через PowerShell

Предположим, что вы решили добавить еще один сетевой адаптер в объединение сетевых интерфейсов, как видим у меня NIC Teaming состоит из адаптеров "Ethernet0" и "Ethernet1", я добавлю "Ethernet2"

Просмотр состава nic teaming

Пишем команду:

Add-NetLbfoTeamMember -Team teaming-pyatilistnik -Name Ethernet2 -AdministrativeMode Active (Или Standby)

Успешно добавленный адаптер в NIC Teaming PowerShell

Удаление сетевых адаптеров из NIC Teaming через PowerShell

Если стоит задачу удалить сетевой адаптер из вашей группы объединенных сетевых интерфейсов, то выполним команду:

Remove-NetLbfoTeamMember -Team teaming-pyatilistnik -Name Ethernet2

Удаление сетевых адаптеров из NIC Teaming через PowerShell

Настройка VLAN на NIC Teaming через PowerShell

Если нужно указать определенную виртуальную сеть (VLAN), то вы можете этого добиться командой:

Add-NetLbfoTeamNIC -Team teaming-pyatilistnik -VlanID 2

Изменить командой Set-NetLbfoTeamNIC -Name "teaming-pyatilistnik - VLAN 2" -VlanID 3 (Меняем VLAN 2 на 3)

Задать vlan nic teaming

Обратите на имя главного интерфейса в группе "teaming-pyatilistnik - VLAN 2"

Смена VLAN NicTeaming

Вернуть VLAN по умолчанию, обязательно смотрите "Primary" интерфейс

Set-NetLbfoTeamNic -Name "teaming-pyatilistnik" -Default

Смена VLAN NicTeaming

Удаление группы сетевых интерфейсов через PowerShell

Для удаления есть команда:

Remove-NetLbfoTeam -Name teaming-pyatilistnik

Чтобы удалить все тиминги, введите Get-NetLbfoTeam | Remove-NetLbfoTeam

Удаление NIC Teaming

На этом у меня все. Мы разобрали создание, настройку, редактирование, удаление объединения сетевых интерфейсов в операционной системе Windows Server 2019. С вами был Иван Семин, автор и создатель IT портала Pyatilistnik.org.

2 Responses to Объединение сетевых карт (Nic Teaming) в Windows Server 2019

  1. Яков:

    Добрый день,
    Столкнулся с определённой проблемой после объединения сетевых интерфейсов.
    — сообщения в журналах о конфликте MAC-адресов (а-ля MAC у Team совпадет с MAC одного из интерфейсов);
    — MAC у Team меняется, что осложняет резервацию IP-ареса в DHCP.
    Можете прокомментировать ?

  2. Иван Семин:

    добрый день! А где вы такие сообщения видите, на DHCP сервере или на сервере с тимингом? Какой код ID сообщения?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *