Часто задаваемые вопросы по Numa Collider

Как сменить IP-адрес в Numa Collider

Свернуть/раскрыть

Для смены IP-адреса ВМ c Numa Collider нужно выполнить следующие действия:

1. Авторизоваться в ВМ используя логин и пароль: ncadmin.
2. В терминале ввести команду:

   nmtui
   

3. Выбрать пункт Edit a connection, нажать Enter.

   

4. Выбрать соединение System eth0, нажать Enter.

   

5. Во вкладке IPv4 CONFIGURATION выбрать тип подключения Manual.

   

6. В поле Addresses ввести IP-адрес и маску сети, например: 172.16.1.1/16.

7. В поле Gateway ввести IP-адрес шлюза по умолчанию, например: 172.16.1.254.
8. При наличии или необходимости ввести DNS-серверы и домен поиска.
9. По окончанию ввода нажать кнопку OK.
10. С помощью двух последовательных нажатий клавиши Esc выйти из nmtui.
11. Открыть в браузере Numa Collider, используя новый адрес.

Как установить статический IP-адрес в Numa Collider при отсутствии DHCP

Свернуть/раскрыть

Для смены IP-адреса ВМ c Numa Collider нужно выполнить следующие действия:

1. Выполнить процедуру аутентификации локального суперпользователя root в терминале vServer.

2. Выполнить команду:

   xl list
   

   Определить ID виртуальной машины с Numa Collider.

   

   Вывод списка ВМ, получение ID ВМ, подключение к консоли ВМ Numa Collider

3. Выполнить подключение к консоли ВМ с Numa Collider, используя команду (см. рисунок выше): xl console <ID_ВМ> .

4. Авторизоваться в ВМ, используя логин и пароль: ncadmin.

   

   Аутентификация в ВМ Numa Collider

5. В терминале ввести команду:

   sudo nmtui
   

   

   Запуск утилиты nmtui с правами суперпользователя

6. Выбрать пункт Edit a connection, нажать Enter.

   

   Изменение настроек подключения

7. Выбрать соединение System eth0, нажать Enter.

   

   Выбор сетевого интерфейса

8. Во вкладке IPv4 CONFIGURATION выбрать тип подключения Manual.

   

   Пример ввода статических параметров сети

9. В поле Addresses ввести IP-адрес и маску сети, например: 192.168.1.1/24 (см. рисунок).

10. В поле Gateway ввести IP-адрес шлюза по умолчанию, например: 192.168.1.254 (см. рисунок).
11. При наличии или необходимости ввести DNS-серверы и домен поиска.

12. По окончанию ввода нажать кнопку OK.

    

    Подтверждение ввода новых параметров сети

13. Нажатием клавиши Esc выйти в меню.

14. Выбрать пункт Activate a connection, нажать Enter.

    

    Выбор пункта меню активации сетевого подключения

15. Для применения настроек необходимо деактивировать и снова активировать соединение, для этого выбрать необходимый интерфейс, выбрать пункт Deactivate, нажать Enter.

    

    Деактивация сетевого подключения

16. Убедиться, что значение изменилось на Activate, снова нажать Enter.

    

    Активация сетевого подключения

17. Нажатием клавиши Esc выйти в меню. В меню выбрать кнопку OK , нажать Enter.

18. Выполнить команду для проверки настроенных параметров:

    ip a sh dev eth0
    

    

    Проверка настроек сети

19. Для отключения от консоли ВМ с Numa Collider использовать комбинацию клавиш Ctrl+].

20. Открыть в браузере Numa Collider, используя новый адрес.

Как назначить пользователю права read-only

Свернуть/раскрыть

Для создания пользователя с правами "только чтение" нужно выполнить следующие действия:

1. Открыть Настройки.
2. Если пользователь не создан, то создать его во вкладке Пользователи.

3. Открыть вкладку Контроль доступа:

   • выбрать пользователя или группу пользователей.
   • выбрать объект доступа, например, пул.
   • выбрать роль Viewer.
   • нажать кнопку Создать.

   

   Назначение пользователю права read-only

Настройка синхронизации даты и времени с NTP-сервером в Numa Collider

Свернуть/раскрыть

Для настройки синхронизации времени с NTP-сервером в Numa Collider необходимо:

1. Авторизоваться в ВМ Numa Collider (ncvm) через "Инфраструктура → ВМ → 'ncvm_demo' → Консоль" или подключиться по ssh к ncvm (пользователь: ncadmin; пароль: ncadmin).
2. С помощью утилиты Vim отредактировать конфигурационный файл /etc/chrony.conf (vim /etc/chrony.conf).

3. Выполнить перезагрузку ncvm.

   Примечание

   Перезагрузку возможно выполнить из интерфейса Numa Collider или через CLI хоста Numa vServer, на котором развернута виртуальная машина Numa Collider.

4. Через несколько минут после полной загрузки ncvm произойдет синхронизация времени с указанным в конфигурационном файле NTP-сервером.

   Внимание!

   NCVM поддерживает Stratum не ниже 3, если у NTP-сервера уровень доверия 4 и ниже - синхронизация не произойдет.

Настройка даты и времени в Numa Collider при отсутствии NTP-сервера

Свернуть/раскрыть

Для настройки даты и времени в Numa Collider при отсутствии NTP-сервера необходимо:

1. Авторизоваться в ВМ Numa Collider (ncvm) ("Инфраструктура → ВМ → 'ncvm_demo' → Консоль") или подключиться по ssh к ncvm (пользователь: ncadmin; пароль: ncadmin).

2. Выполнить следующие команды для настройки даты и времени:

   sudo timedatectl set-ntp 0
   

   sudo timedatectl set-time "YYYY-MM-DD HH:MM:SS"
   

3. Внесенные изменения можно посмотреть с помощью команды:

   date
   

Возможность контроля трафика с применением межсетевых экранов: применение виртуальных МЭ на уровне подсетей, виртуальных МЭ на уровне ядра гипервизора

Свернуть/раскрыть

Виртуальный коммутатор значительно упрощает администрирование в виртуальных сетей – все настройки и данные статистики ВМ остаются связанными с ВМ, даже если она мигрирует с одного сервера общего пула на другой.

При использовании контроллера программно-определяемых сетей (SDN-controller) поддерживающего протокол Openflow, виртуальные коммутаторы обеспечивают дополнительную функциональность, например, списки управления доступом (Access Control List, ACL).

Примечание

Контроллер программно-определяемых сетей не входит в стандартный состав дистрибутива Numa vServer

Чтобы определить, какой сетевой стек в настоящее время настроен, необходимо выполнить следующую команду:

xe host-param-get param-name=software-version param-key=network_backend uuid="host_uuid"

Если после выполнения команды, нам вернулась строка "bridge", необходимо переключить стек на Open vSwitch и выполнить перезагрузку:

xe-switch-network-backend openvswitch

reboot

Чтобы вернуться к стеку Linux-моста, необходимо выполнить следующую команду:

xe-switch-network-backend bridge

После её выполнения следует перезагрузить сервер:

reboot

Стек Linux-моста не поддерживает протокол openflow, межсерверные частные сети (Cross Server Private Networks) и не может управляться посредством контроллера программно-определяемых сетей.

Далее необходимо выполнить настройку iptables на всех хостах Numa vServer:

nano /etc/iptables/iptables

Необходимо добавить строки:

:xapi-INPUT - [0:0]
:xapi_nbd_input_chain - [0:0]
:xapi_nbd_output_chain - [0:0]
-A INPUT -j xapi-INPUT
-A INPUT -p tcp -m tcp --dport 10809 -j xapi_nbd_input_chain
-A INPUT -p gre -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 10809 -j xapi_nbd_output_chain
-A vServer-Firewall-0-INPUT -p tcp -m tcp --dport 21064 -j ACCEPT
-A vServer-Firewall-0-INPUT -p udp -m multiport --dports 5404,5405 -j ACCEPT
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6653 -j ACCEPT
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6640 -j ACCEPT
-A xapi-INPUT -p udp -m conntrack --ctstate NEW -m udp --dport 6640 -j ACCEPT
-A xapi-INPUT -j RETURN
-A xapi_nbd_input_chain -j REJECT --reject-with icmp-port-unreachable
-A xapi_nbd_output_chain -j REJECT --reject-with icmp-port-unreachable

В итоге /etc/iptables/iptables приобретет вид:

*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:vServer-Firewall-0-INPUT - [0:0]
:xapi-INPUT - [0:0]
:xapi_nbd_input_chain - [0:0]
:xapi_nbd_output_chain - [0:0]
-A INPUT -j xapi-INPUT
-A INPUT -p tcp -m tcp --dport 10809 -j xapi_nbd_input_chain
-A INPUT -p gre -j ACCEPT
-A INPUT -j vServer-Firewall-0-INPUT
-A FORWARD -j vServer-Firewall-0-INPUT
-A OUTPUT -p tcp -m tcp --sport 10809 -j xapi_nbd_output_chain
-A vServer-Firewall-0-INPUT -i lo -j ACCEPT
-A vServer-Firewall-0-INPUT -p icmp --icmp-type any -j ACCEPT
# DHCP for host internal networks (CA-6996)
-A vServer-Firewall-0-INPUT -p udp -m udp --dport 67 --in-interface xenapi -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Linux HA hearbeat
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m udp -p udp --dport 694 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 80 -j ACCEPT
-A vServer-Firewall-0-INPUT -m conntrack --ctstate NEW -m tcp -p tcp --dport 443 -j ACCEPT
-A vServer-Firewall-0-INPUT -p tcp -m tcp --dport 21064 -j ACCEPT
-A vServer-Firewall-0-INPUT -p udp -m multiport --dports 5404,5405 -j ACCEPT
-A vServer-Firewall-0-INPUT -j REJECT --reject-with icmp-host-prohibited
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6653 -j ACCEPT
-A xapi-INPUT -p tcp -m conntrack --ctstate NEW -m tcp --dport 6640 -j ACCEPT
-A xapi-INPUT -p udp -m conntrack --ctstate NEW -m udp --dport 6640 -j ACCEPT
-A xapi-INPUT -j RETURN
-A xapi_nbd_input_chain -j REJECT --reject-with icmp-port-unreachable
-A xapi_nbd_output_chain -j REJECT --reject-with icmp-port-unreachable
COMMIT

Сохранить файл комбинацией Ctrl+O, далее нажатием клавиши Enter подтверждаем сохранение изменений. Выйти из редактора Nano нажатием сочетания Ctrl+X.

Перезагрузить МЭ, выполнив команду:

systemctl restart iptables

Для настройки TLS соединения необходимо сгенерировать:

1. Для каждого хоста виртуализации:
   1. Корневой сертификат (sdn-controller-ca.pem)
   2. Серверный сертификат (server-cert.pem)
   3. Серверный ключ (server-key.pem)
2. Для NCVM:
   1. Корневой сертификат (ca-cert.pem)
   2. Сертификат клиента (client-cert.pem)
   3. Ключ клиента (client-key.pem)

Настройки в CLI Numa Collider приведенные ниже необходимо провести для каждого хоста виртуализации.

Скопировать sdn-controller-ca.pem, server-cert.pem и server-key.pem в /etc/stunnel/certs/.

Войти в CLI Numa vServer как суперпользователь (ssh или локальная консоль), перейти в каталог /etc/stunnel/certs/ и создать файл xapi-stunnel-ca-bundle.pem. Для этого необходимо выполнить следующие команды:

find /etc/stunnel/certs -name '*.pem' | xargs cat > /etc/stunnel/xapi-stunnel-ca-bundle.pem.tmp

mv /etc/stunnel/xapi-stunnel-ca-bundle.pem.tmp /etc/stunnel/xapi-stunnel-ca-bundle.pem

Находясь в /etc/stunnel/certs/, создать файл xapi-ssl.pem и скопировать его в /etc/xcp:

cat server-key.pem > xapi-ssl.pem

cat server-cert.pem >> xapi-ssl.pem

mv ./xapi-ssl.pem /etc/xcp/

Включить SSL в Open vSwitch:

ovs-vsctl set-ssl /etc/stunnel/certs/server-key.pem /etc/stunnel/certs/server-cert.pem /etc/stunnel/certs/sdn-controller-ca.pem

Перезапустить xe-toolstack и загрузить модуль vport_vxlan:

xe-toolstack-restart

modprobe vport_vxlan

Войти в CLI виртуальной машины Numa Collider (ncvm) как ncadmin.

Создать каталог хранения сертификатов и ключа:

mkdir /home/ncadmin/certs

Скопировать ca-cert.pem, client-cert.pem, client-key.pem в /home/ncadmin/certs/.

Войти в Numa Collider, подключить настроенные серверы ("Добавить → Сервер"). Перейти во вкладку "Дополнения" ("Настройки → Дополнения"). Найти модуль "sdn-controller".

Внимание

При попытке инкапсулировать в GRE пакет размером в 1500 байт, реальный размер пакета увеличится до 1524 байт (за счет добавления дополнительных заголовков GRE), а в виду установленного маршрутизатором DF-бита (do not fragment), фрагментация пакета невозможна. Решить эту проблему можно принудительным снятием бита DF, тем самым побуждая маршрутизатор совершить фрагментацию пакета, но этот способ не рекомендуется, поскольку увеличивает количество передаваемых пакетов и количество служебной информации (overhead), тем самым снижая максимально доступную пропускную способность и увеличивая нагрузку на оборудование, также сама процедура фрагментации требует дополнительного буфера памяти для хранения фрагментов, а также вычислительных мощностей для совершения сборки и фрагментирования пакетов. При наличии маршрутизаторов на пути следования пакетов рекомендуется уменьшить MTU до 1476, либо увеличить MTU на всех интерфейсах и каналах между маршрутизаторами формирующими GRE (использование Jumbo-кадров c MTU от 1500 до 9216 байт).

В Numa Collider sdn-controller является дополнением для настройки оверлейных сетей.

Для настройки данного дополнения, необходимо:

1. в блоке cert-dir указать путь к сертификатам в ncvm (/home/ncadmin/certs);
2. сохранить конфигурацию;
3. для загрузки самого дополнения необходимо перевести его в положение включено.

Настройка модуля sdn-controller

Далее рассматривается создание оверлейной сети с инкапсуляцией GRE. Сеть с VxLAN создается аналогично (на шаге 7 из выпадающего списка выбирается инкапсуляция VxLAN). Настройка IPTABLES, OPENVSWITCH и SDN-контроллера уже выполнена с учетом использования как GRE, так и VxLAN инкапсуляции.

Для создания сети:

1. перейти на страницу "Добавить → Сеть";
2. выбрать основной пул (1);
3. включить режим "Частная сеть" (2);
4. выбрать сетевой интерфейс (3);
5. задать имя для новой сети (4);
6. при необходимости задать MTU (5);
7. выбрать тип инкапсуляции (6);
8. нажать кнопку "Добавить пул" и выбрать все пулы и их физические сетевые интерфейсы, для которых создаем сеть (7);
9. нажать кнопку "Создать сеть" (8)

Создание сети GRE (часть 1)

Создание сети GRE (часть 2)

Создание сети GRE (часть 3)

По завершении процесса создания сети откроется вкладка "Сеть" мастер-хоста пула, который был назначен на шаге 2 создания сети.

Вкладка Сеть мастер-хоста, содержащая созданную сеть (gre)

Созданный сетевой интерфейс (tunnel0)

Проверить работу созданного туннеля возможно следующим способом:

1. создать ВМ на хостах Numa vServer, содержащих tunnel0;
2. VIF ВМ перевести в сеть созданного ранее туннеля;
3. включить ВМ;
4. повторить шаги с 1, 2, 3 для других ВМ;
5. в консоли ВМ выполнить команду

   ping <ip_vm>
   

   где <ip_vm> - IP другой виртуальной машины с VIF в сети созданного туннельного подключения.

Вкладка "Сеть" виртуальной машины

Вкладка "Перевод VIF ВМ в сеть туннеля (gre)"

VIF ВМ в сеть туннеля (gre)

IP виртуальной машины №1

IP виртуальной машины №2

Ping ВМ №2 из ВМ №1

В виртуальной машине с ОС Windows не работают стандартные гостевые драйвера

Свернуть/раскрыть

1. Из виртуальной машины Windows необходимо удалить установленные гостевые драйвера
2. Выполнить перезагрузку ВМ
3. Убедиться, что переключатель "Обновление Windows tools" ("Расширенных настройки") находится в положении 'Выключено'
4. Загрузить свободные драйвера по ссылке: Windows.PV.Drivers.8.2.2.200-rc1.iso
5. Выполнить установку загруженных драйверов

Зависают элементы UI в гостевой виртуальной машине (Ubuntu, Gnome3)

Свернуть/раскрыть

Если в ВМ графическим сервером по умолчанию выступает Wayland в то время как доступен X.Org, необходимо выполнить следующие действия:

1. Открыть в текстовом редакторе (nano/vim) /etc/gdm3/custom.conf.
2. Раскомментировать строку WaylandEnable=false.
3. Сохранить изменения.
4. Выполнить перезагрузку.

Removable storage в Numa Collider не отображается, но присутствует в выводе команды xe sr-list

Свернуть/раскрыть

Выполнение команд производится в CLI Numa vServer.

1. Отключите PBD у Removable storage и выполните команду sr-forget:

   xe sr-param-get param-name=PBDs uuid=<SR-UUID>
   

   xe pbd-unplug uuid=<PBD-UUID>
   

   xe sr-forget uuid=<SR-UUID>
   

   PBD-UUID будет отображен после выполнения первой команды.
   

2. Создайте новое хранилище для съемных устройств и выполните сканирование созданного хранилища:

   xe sr-create name-label=Removable\ storage type=udev content-type=disk device-config:location=/dev/xapi/block
   

   xe sr-scan uuid=<NEW-SR-UUID>