Настройки → Дополнения#

С помощью раздела Дополнения есть возможность подключения/отключения и настройки необходимых дополнений.

SDN-controller – дополнение для настройки оверлейных сетей#

Виртуальный коммутатор значительно упрощает администрирование виртуальных сетей – все настройки и данные статистики ВМ остаются связанными с ВМ, даже если она мигрирует с одного сервера общего пула на другой.

При использовании контроллера программно-определяемых сетей (SDN-controller), поддерживающего протокол Openflow, виртуальные коммутаторы обеспечивают дополнительную функциональность, например, списки управления доступом (Access Control List, ACL).

Примечание

Контроллер программно-определяемых сетей не входит в стандартный состав дистрибутива Numa vServer.

Чтобы определить, какой сетевой стек в настоящее время настроен, необходимо выполнить следующую команду:

1	`xe host-param-get param-name=software-version param-key=network_backend uuid="host_uuid"`

Если после выполнения команды вернулась строка bridge, необходимо переключить стек на Open vSwitch и выполнить перезагрузку:

1	`xe-switch-network-backend openvswitch`

reboot

Чтобы вернуться к стеку Linux-моста, необходимо выполнить следующую команду и после её выполнения следует перезагрузить сервер:

1	`xe-switch-network-backend bridge`

reboot

Внимание!

Стек Linux-моста не поддерживает протокол OpenFlow, межсерверные частные сети (Cross Server Private Networks) и не может управляться посредством контроллера программно-определяемых сетей.

Далее необходимо выполнить настройку iptables на всех хостах Numa vServer:

1	`nano /etc/iptables/iptables`

Необходимо добавить строки:

:xapi-INPUT - [0:0]
:xapi_nbd_input_chain - [0:0]
:xapi_nbd_output_chain - [0:0]
-A INPUT -j xapi-INPUT
-A INPUT -p tcp -m tcp --dport 10809 -j xapi_nbd_input_chain
-A INPUT -p gre -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 10809 -j xapi_nbd_output_chain
-A vServer-Firewall-0-INPUT -p tcp -m tcp --dport 21064 -j ACCEPT
-A vServer-Firewall-0-INPUT -p udp -m multiport --dports 5404,5405 -j ACCEPT
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6653 -j ACCEPT 
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6640 -j ACCEPT
-A xapi-INPUT -p udp -m conntrack --ctstate NEW -m udp --dport 6640 -j ACCEPT
-A xapi-INPUT -j RETURN
-A xapi_nbd_input_chain -j REJECT --reject-with icmp-port-unreachable
-A xapi_nbd_output_chain -j REJECT --reject-with icmp-port-unreachable

В итоге /etc/iptables/iptables приобретет вид:

*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:vServer-Firewall-0-INPUT - [0:0]
:xapi-INPUT - [0:0]
:xapi_nbd_input_chain - [0:0]
:xapi_nbd_output_chain - [0:0]
-A INPUT -j xapi-INPUT
-A INPUT -p tcp -m tcp --dport 10809 -j xapi_nbd_input_chain
-A INPUT -p gre -j ACCEPT
-A INPUT -j vServer-Firewall-0-INPUT
-A FORWARD -j vServer-Firewall-0-INPUT
-A OUTPUT -p tcp -m tcp --sport 10809 -j xapi_nbd_output_chain
-A vServer-Firewall-0-INPUT -i lo -j ACCEPT
-A vServer-Firewall-0-INPUT -p icmp --icmp-type any -j ACCEPT
# DHCP for host internal networks (CA-6996)
-A vServer-Firewall-0-INPUT -p udp -m udp --dport 67 --in-interface xenapi -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Linux HA hearbeat
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m udp -p udp --dport 694 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 80 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 443 -j ACCEPT
-A vServer-Firewall-0-INPUT -p tcp -m tcp --dport 21064 -j ACCEPT
-A vServer-Firewall-0-INPUT -p udp -m multiport --dports 5404,5405 -j ACCEPT
-A vServer-Firewall-0-INPUT -j REJECT --reject-with icmp-host-prohibited
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6653 -j ACCEPT
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6640 -j ACCEPT
-A xapi-INPUT -p udp -m conntrack --ctstate NEW -m udp --dport 6640 -j ACCEPT
-A xapi-INPUT -j RETURN
-A xapi_nbd_input_chain -j REJECT --reject-with icmp-port-unreachable
-A xapi_nbd_output_chain -j REJECT --reject-with icmp-port-unreachable
COMMIT

Сохранить файл нажатием комбинацией клавиш Ctrl+O, подтвердить сохранение изменений нажатием клавиши Enter. Выйти из редактора Nano нажатием сочетания клавиш Ctrl+X.

Перезагружаем межсетевой экран, выполнив команду:

1	`systemctl restart iptables`

Для настройки TLS-соединения необходимо сгенерировать:

Для каждого хоста виртуализации:
1. Корневой сертификат (sdn-controller-ca.pem);
2. Серверный сертификат (server-cert.pem);
3. Серверный ключ (server-key.pem).
Для Numa Collider:
1. Корневой сертификат (ca-cert.pem);
2. Сертификат клиента (client-cert.pem);
3. Ключ клиента (client-key.pem).

Настройки в CLI Numa Collider, приведенные ниже, необходимо провести для каждого хоста виртуализации:

Скопировать sdn-controller-ca.pem, server-cert.pem и server-key.pem в /etc/stunnel/certs/.
Войти в CLI Numa vServer как суперпользователь (через ssh или локальную консоль).
Перейти в каталог /etc/stunnel/certs/ и создать файл xapi-stunnel-ca-bundle.pem. Для этого необходимо выполнить следующие команды:
1 2
find /etc/stunnel/certs -name '*.pem' | xargs cat > /etc/stunnel/xapi-stunnel-ca-bundle.pem.tmp mv /etc/stunnel/xapi-stunnel-ca-bundle.pem.tmp /etc/stunnel/xapi-stunnel-ca-bundle.pem

Находясь в /etc/stunnel/certs/, создать xapi-ssl.pem и скопировать его в /etc/xcp:

1
2
3

cat server-key.pem > xapi-ssl.pem 
cat server-cert.pem >> xapi-ssl.pem
mv ./xapi-ssl.pem /etc/xcp/

Включить SSL в Open vSwitch:

1	`ovs-vsctl set-ssl /etc/stunnel/certs/server-key.pem /etc/stunnel/certs/server-cert.pem /etc/stunnel/certs/sdn-controller-ca.pem`

Перезапустить xe-toolstack и загрузить модуль vport_vxlan:
1
xe-toolstack-restart
1
modprobe vport_vxlan
Войти в CLI виртуальной машины Numa Collider (ncvm) как ncadmin.
Создать каталог хранения сертификатов и ключа:
1
mkdir /home/ncadmin/certs
Скопировать ca-cert.pem, client-cert.pem, client-key.pem в /home/ncadmin/certs/.
Войти в Numa Collider, подключить настроенные серверы (через вкладку Добавить → Сервер). Перейти во вкладку "Настройки → Дополнения". Найти модуль sdn-controller.

Предупреждение

При попытке инкапсулировать в GRE пакет размером в 1500 байт, реальный размер пакета увеличится до 1524 байт (за счет добавления дополнительных заголовков GRE), а ввиду установленного маршрутизатором DF-бита (do not fragment), фрагментация пакета невозможна. Решить эту проблему можно принудительным снятием бита DF, тем самым побуждая маршрутизатор совершить фрагментацию пакета, но этот способ не рекомендуется, поскольку увеличивает количество передаваемых пакетов и количество служебной информации (overhead), тем самым снижая максимально доступную пропускную способность и увеличивая нагрузку на оборудование. Также сама процедура фрагментации требует дополнительного буфера памяти для хранения фрагментов, а также вычислительных мощностей для совершения сборки и фрагментирования пакетов. При наличии маршрутизаторов на пути следования пакетов рекомендуется уменьшить MTU до 1476, либо увеличить MTU на всех интерфейсах и каналах между маршрутизаторами, формирующими GRE (использование Jumbo-кадров c MTU от 1500 до 9216 байт).

Настройка дополнения#

Для настройки данного дополнения необходимо:

в блоке cert-dir указать путь к сертификатам в виртуальной машине Numa Collider (ncvm) (/home/ncadmin/certs);
сохранить конфигурацию;
для загрузки самого дополнения необходимо перевести его в положение (включено) .

Внимание!

Далее рассматривается создание оверлейной сети с инкапсуляцией GRE. Сеть с VxLAN создается аналогично (на шаге 7 из выпадающего списка выбирается инкапсуляция VxLAN). Настройка IPTABLES, OPENVSWITCH и SDN-контроллера уже выполнена с учетом использования как GRE, так и VxLAN инкапсуляции.

Для создания сети выполнить следующие действия (см. рисунки Создание сети GRE (часть 1), Создание сети GRE (часть 2), Создание сети GRE (часть 3)):

перейти на страницу «Добавить → Сеть»;
выбрать основной пул (1);
включить режим «Частная сеть» (2);
выбрать сетевой интерфейс (3);
задать имя для новой сети (4);
при необходимости задать MTU (5);
выбрать тип инкапсуляции (6);
нажать кнопку Добавить пул и выбрать все пулы и их физические сетевые интерфейсы, для которых создаем сеть (7);
нажать кнопку ~~Создать сеть~~ (8)

По завершении процесса создания сети откроется вкладка «Сеть» мастер-хоста пула, который был назначен на шаге 2 создания сети.

Вкладка «Сеть» мастер-хоста, содержащая созданную сеть (gre)

Проверить работу созданного туннеля возможно следующим способом:

создать ВМ на хостах Numa vServer, содержащих tunnel0;
VIF ВМ перевести в сеть созданного ранее туннеля;
включить ВМ;
повторить шаги с 1, 2, 3 для других ВМ;
в консоли ВМ выполнить команду:

1	`ping ip_vm`

где ip_vm – IP другой виртуальной машины с VIF в сети созданного туннельного подключения.

Внимание!

В случае если в новой сети нет DHCP-сервера, сетевым интерфейсам ВМ необходимо установить статические IP-адреса.

Transport-email - дополнение для настройки отправки email-сообщений#

Для настройки данного дополнения, необходимо:

в блоке from (1) указать данные от чьего имени будут отправляться сообщения;
в блоке transport (2) указать адрес сервера отправки сообщений;
сохранить конфигурацию (3);
дополнительно до загрузки дополнения можно протестировать настройки, ввести в поле (4) адрес получателя и нажать кнопку ~~Test plugin~~, после чего на указанную электронную почту должно быть доставлено сообщение;
для загрузки самого дополнения необходимо перевести его в положение (включено) (5).

Настройка дополнения для отправки email-сообщений

Usage-report - дополнение отправки отчетов#

Для настройки данного дополнения, необходимо:

в блоке emails (1) указать всех получателей отчетов
указать периодичность отправки отчетов (2):
- ежедневная отправка - daily;
- еженедельная - weekly;
- ежемесячная - monthly;
нажать на ~~Сохранить конфигурацию~~ (3);
для загрузки самого дополнения необходимо перевести его в положение (включено) (4).

Backup-reports - дополнение отправки отчетов о резервном копировании#

Для настройки данного дополнения необходимо:

загрузить дополнение backup-reports, переключив его в положение (включено);
настроить и загрузить дополнение transport-email для возможности отправки отчетов через email-сообщения;
дополнительно можно протестировать дополнение:
- скопировать идентификатор выполненного задания резервного копирования, перейдя в "Резервное копирование" → вкладка "Обзор" → раздел "Журнал" → статус задания (1) → идентификатор задания (2) (см. рисунок);
- в разделе Test data ввести в поле runId идентификатор и нажать на кнопку ~~Test plugin~~;
- убедиться, что на электронную почту, указанную при создании задания резервного копирования, доставлено сообщение.

Балансировка нагрузки#

Максимальная

Для работы балансировки нагрузки (load-balancer) необходимо наличие двух и более серверов. Активация дополнения производится через меню "Настройки → Дополнения → load-balancer". Для настройки дополнения необходимо создать правило, для этого:

убедиться, что дополнение load-balancer включено ;
раскрыть настройки, нажав на ;
в разделе Plan выбрать пункт Заполните информацию (необязательно);
нажать на ~~Добавить~~;

Балансировка нагрузки
заполнить форму Plan:
- name: ввести название создаваемой политики;
- mode: выбрать режим (подробное описание режимов в Режимы балансировки нагрузки);
- pools: выбрать пул(-ы), в котором(-ых) будет применена политика;
- execute host: выбрать серверы, на которые не будет распространяться правило;
- anti-affinity tags: подробнее про правило Anti-affinity написано в VM anti-affinity (Правило Anti-affinity);
установить критические пороги использования ресурсов (опционально):
- максимальная нагрузка ЦП (%);
- максимальный объем ОЗУ (МБ);
добавить еще одно правило (опционально);
нажать на ~~Сохранить конфигурацию~~.

При достижении сервером из выбранного пула установленных критических значений нагрузки ЦП и (или) объема ОЗУ, NC начнет распределять ВМ из нагруженного сервера между другими доступными серверами для достижения максимальной производительности серверов.

Режимы балансировки нагрузки#

При создании правила балансировки нагрузки на выбор представлено 3 режима: Performance, Density и Simple.

Режим Performance обеспечивает достижение максимального уровня производительности для ВМ, распределяя ВМ по всем доступным серверам. Например, если на одном сервере развернуты несколько ВМ и в какой-то момент времени одна из ВМ начинает использовать большие ресурсы для своей работы, то другие ВМ перемещаются на другой менее нагруженный сервер во избежание снижения их производительности.

Режим Density наоборот размещает ВМ на минимальном количестве серверов для снижения энергопотребления за счет отключения не нагруженных серверов.

Режим Simple не производит балансировку нагрузки на основе производительности, он необходим для функционирования пользовательских правил размещения, таких как VM anti-affinity (Правило Anti-affinity).

VM anti-affinity (Правило Anti-affinity)#

Правило Anti-Affinity предотвращает запуск ВМ с одинаковыми пользовательскими метками на одном сервере и распределяет их между серверами, повышая производительность и отказоустойчивость системы. Применение данного правила полезно при разворачивании высоконагруженных систем на нескольких ВМ во избежание их одновременного функционирования с использованием ресурсов только одного сервера или если на нескольких ВМ развернута база данных с репликацией.

Перед настройкой правила Anti-affinity необходимо задать пользовательские метки ВМ. Это можно сделать следующими способами:

через панель Инфраструктура → Виртуальные машины раскрыть сведения о ВМ , добавить метки, нажав ;
перейти в ВМ во вкладку "Общее", под информацией о ресурсах нажать , ввести наименование метки или выбрать из существующих.

Добавление пользовательских меток для ВМ. Вариант 1

Добавление пользовательских меток для ВМ. Вариант 2

Для включения правила Anti-affinity необходимо перейти в меню Настройки → Дополнения → load balancer, далее:

убедиться, что включено дополнение load-balancer ;
раскрыть настройки, нажав на ;
выбрать пункт Заполните информацию (необязательно);
нажать на ~~Добавить~~;
заполнить форму Plan:
- name: ввести название создаваемой политики;
- mode: выбрать "Simple mode";
- pools: выбрать пул(-ы), в котором(-ых) будет применена политика;
- anti-affinity tags: выбрать необходимые метки ВМ.
при необходимости указать игнорируемые метки в поле Ignored VM tags;
нажать на ~~Сохранить конфигурацию~~.

При запуске ВМ с одинаковыми метками, выбранных при настройке правила Anti-affinity, часть ВМ мигрирует на другой сервер.

Auth-ldap - дополнение для LDAP аутентификации пользователей Numa Collider через LDAP#

Настройка доступа пользователей выполняется в следующей последовательности:

Раскрыть дополнение auth-ldap.
Ввести URI указав IP-адрес или FQDN LDAP-сервера, например: ldap//10.10.42.1.
Указать базовую ветку каталога для поиска пользователя, например: DC=office,DC=example,DC=ru.
Если для доступа к каталогу необходимо выполнить авторизацию, то необходимо раскрыть форму Credentials. Для этого нужно установить знак галочки рядом с полем Заполните информацию (не обязательно). После ввести имя и пароль пользователя, имеющего права доступа к каталогу.
Указать фильтр пользователей, по которому они буду добавляться в NC, например: (sAMAccountName={{name}}). Для MS AD также доступны другие фильтры, например:
- (sAMAccountName={{name}})
- (sAMAccountName={{name}}@<domain>)
- (userPrincipalName={{name}})
- (&(sAMAccountName={{name}})(memberOf=<group DN>)) – если нужно указать принадлежность к группе.
Указать атрибут для сопоставления пользователя LDAP с пользователем Collider, например: dn. Атрибут должен быть уникальным.
Нажать на ~~Сохранить конфигурацию~~.
Включить плагин .
Выполнить тестовый запрос, указав имя и пароль пользователя.

Примечание

Пользователи начнут отображаться во вкладке "Пользователи" после их первого входа в Numa Collider.

После настройки плагина необходимо перейти на вкладку «Пользователи» и убедиться, что тестовый пользователь добавлен.
Перейти на вкладку «Контроль доступа».
Выбрать добавленного пользователя.
Выбрать объекты, доступные пользователю.
Выбрать роль пользователя и нажать кнопку «Создать».
Выйти из учетной записи Администратора Numa Collider.
Авторизоваться под учетной записью пользователя AD.
Убедиться в наличии доступных объектов.

Настройка синхронизации групп выполняется в следующей последовательности:

Раскрыть форму Synchronize groups. Для этого нужно установить знак галочки рядом с полем Заполните информацию (не обязательно).
Указать базовую ветку каталога для поиска групп, например: CN=Users,DC=office,DC=example,DC=ru.
Указать фильтр, например: (ObjectClass=group).
Указать атрибут для сопоставления группы LDAP с группой Collider, например: dn. Атрибут должен быть уникальным.
Указать атрибут, используемый для определения названия группы в Collider, например: cn.
Указать атрибут, используемый для поиска членов группы, например: member. Значения должны ссылаться на идентификаторы пользователей (см. атрибут user ID).
Пользовательский атрибут, используемый для сопоставления членов группы с пользователями, например: dn.
Нажать на ~~Сохранить конфигурацию~~.
Выполнить синхронизацию во вкладке Группы.

Примечание

Numa Collider не отображает количество пользователей групп из каталога LDAP.

Настройка синхронизации групп из MS AD (пример)