oVirt — часть 7 — GlusterFS

2014-03-23 00:04 | Автор: jekader | Filed under: FedoraMD

Описание настройки и использования GlusterFS в качестве распределённого хранилища данных


Более подробные шаги установки (подразумеваем что oVirt и хосты уже установлены - если нет см. Прошлые видео):

1) ставим необходимые пакеты на гипервизоры:
# yum install glusterfs-server vdsm-gluster

2) включаем сервис:
# chkconfig glusterd on
# service glusterd start

3) отключаем (либо настраиваем) iptables:
# chkconfig iptables off
# service iptables off


Подробный список портов тут:
access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.1/html/Installation_Guide/chap-Installation_Guide-Planning-Port.html
для oVirt не нужны порты NFS и CIFS

4) после выведения хоста в Maintenance Mode, перезапускаем vdsm:
# service vdsmd restart

При желании ручной настройки glusterfs пользуемся статьёй:
www.howtoforge.com/high-availability-storage-with-glusterfs-3.2.x-on-centos-6.3-automatic-file-replication-mirror-across-two-storage-servers

При ошибках в правах доступа, монтируем volume вручную и меняем владельца:
# mkdir /tmp/gluster
# mount.glusterfs : /tmp/gluster
# chown vdsm:kvm /tmp/gluster
# umount /tmp/gluster

Метки:

14 комментариев »

комментариев 14

1. Руслан:
   ��� 15, 2014 11:13

   Добрый день! Отличные видео-мануалы нашел на вашем сайте и очень этому рад. Были решены многие вопросы и многое почерпнул из них. Изучать oVirt начал совсем недавно, очень нравится, и есть вопрос, с которым разобраться самостоятельно я пока не в силах. В качестве тестовых компов у меня имеются в наличии:
   1.Intel Core 2 Duo E4500, 5 Gb DDR2
   2.AMD Phenom(tm) II X4 920, 8 Gb DDR2
   3.Intel(R) Core(TM) i5-2500, 8Gb DDR3
   4.Intel(R) Core(TM) i5-2400, 8Gb DDR3
   Так же имеются 4 HDD объемом по 500 Gb, ну и валяется в сторонке еще 80 Gb.
   После просмотра видео oVirt – часть 3 – настройка и использование, я решил поступить следующим образом, поднять ovirt-engine на сервере №1, используя максимальный объем HDD, из имеющихся в наличии, т.е 2х500 Gb, объединив их с помощью LVM и настроив nfs. Остальные HDD использовать на оставшихся серверах, которые планировал использовать под гипервизоры. Отлично.
   Но я решил ознакомиться со всеми вашими видео и 7я часть(GlusterFS) подвергла сомнениям мое решение. Что же использовать? GlusterFS или же оптимальнее будет использовать первый вариант? Хотелось бы использовать весь доступный объем памяти и вычислительных мощностей, а чем нагрузить — найдем) а так же интересует возможность миграции.
   И собственно вопрос, как к специалисту, каково ваше мнение, как оптимальнее использовать имеющиеся ресурсы с oVirt?
   Спасибо.

2. jekader:
   ��� 15, 2014 22:10

   Руслан, очень рад что мои видео оказались Вам полезны.

   По рассматриваемой конфигурации — скажем прямо, GlusterFS это дополнительная головная боль в случае обновлений или неполадок с сетью (split brain и тому подобное как результат). По скорости всё равно упрётесь в возможности ethernet адаптеров, причём в случае зеркалирования на glusterfs запись будет вестись дважды, то есть пропускная способность снизится. В итоге выгода от GlusterFS не покрывает потенциальных рисков вызванных повышенной сложностью системы.

   Лично я люблю iSCSI, поэтому я запихнул-бы все харды в одну машину (докупил-бы простецкий SATA контроллер если не хватает портов) и разметил там громадный LVM раздел, который зашарил-бы по iSCSI в качестве Storage Domain. Можно iSCSI заменить на NFS естественно, так что Ваш изначальный подход считаю правильным.

   И ещё дополнительный совет по проектированию инфраструктуры: всегда полезно storage повесить на отдельный сетевой адаптер, чтобы скорость прочих операций не страдала.

3. Руслан:
   ��� 16, 2014 10:02

   Спасибо большое за ответ, Евгений!
   Мало того что ваши видео оказались полезными, ваши видео, пожалуй, самые информативные из той информации которая попалась мне, не считая ovirt.org, конечно же. Еще раз спасибо за ваши видео.
   Поступлю именно так, как вы советуете. Получается, что нет необходимости иметь дисковое пространство на нодах. В таком случае, могу предположить, что возможно использовать загрузки по сети. Не использовали ли вы такое в своей практике?

4. jekader:
   ��� 16, 2014 23:21

   Не вижу препятствий к использованию Netboot системы в качестве гипервизора. На нём почти все файлы открываются только на чтение, пишутся только логи.

   По сути проект ovirt-node (http://www.ovirt.org/Node_Building) представляет собой минимальную Read-only систему. Она конечно устанавливается на диск, но само существование данного подхода с «тонкими» гипервизорами подсказывает, что по сети тоже вполне можно грузиться.

   Единственная польза от локального диска — это пожалуй swap партиция. Никогда не помешает на гипервизоре, особенно если оперативки негусто.

5. Руслан:
   ��� 19, 2014 9:06

   Евгений, огромное Вам спасибо, за исчерпывающие ответы, на мои вопросы! Буду пробовать и выбирать оптимальное для себя решение. fedora.md добавил в закладки) Спасибо, всего доброго!

6. Руслан:
   ���� 30, 2014 12:19

   Евгений, добрый день! Не нашел куда еще вам можно написать, потому пишу сюда) К слову, мне удалось реализовать бездисковую работу гипервизоров, таким образом, чтобы не нужно было каждый раз при загрузке ноды цеплять ее к engine(использовал nfs-root). Пока тестим надежность такой схемы. У меня возник еще один вопрос, и ,надеюсь, вы сможете его прояснить. Из имеющхся физических машин, выступающих в роли бездисковых гипервизоров, не все имеют одинаковый тип процессора. При экспериментах на машинах с intel процессорами проблем никаких не возникло. Когда я поднимаю engine, цепляю к нему хост на amd процессоре и пытаюсь подцепить хост на intel, я создаю новый кластер, т.к. тип процессора другой, и получаю ошибку о невозможности подключения к Storage Domain. Значит ли это, что для использования разных типов процессоров, мне придется использовать разные дата центры? И, что запускать виртуальные машины на разных кластерах можно только с помощью экспорта?

7. aprogrammer:
   ����� 2, 2015 16:57

   Могу посоветовать почитать эту статью по тестированию распределения контента в GlusteFS — http://sysadm.pp.ua/linux/glusterfs-setup.html .Очень толково написано, может кому-то понадобиться.

8. Oleg:
   ������ 13, 2015 6:18

   Спасибо. Знакомство и изучение ovirt через Ваши видео обзоры. Нет даже мануалы для меня. Если и находишь ещё что на других ресурсах, но для подкрепления возвращается к ним. Спасибо. Не как только со iscsi разобраться не могу. Не хватает обзоро про этот вид стоража с ovirt.

9. jekader:
   ������ 13, 2015 8:23

   Спасибо за добрые слова!
   iSCSI гораздо проще чем Gluster, поэтому и не удостоился отдельного видео. Достаточно настроить на отдельной машине target (или использовать SAN), и подключиться к нему.

10. Oleg:
    ������ 13, 2015 14:57

    Так и сделал, но что то не находит ovirt target. Либо я не правильно target , либо не все тонкости подключения ovirt к target учитыыаю. Хорошее описание по созданию target может укажите? Но лучше объяснение от Вас. Более дохотчево у Вас получается.

11. jekader:
    ������ 13, 2015 15:21

    по ссылке выше есть описание как target так и initiator — так можно и работоспособность проверить прямо с гипервизора ovirt

12. Александр:
    ����� 1, 2018 18:07

    Здравствуйте, Евгений.
    Как с вами можно связаться и проконсультироваться по oVirt.

13. jekader:
    ����� 2, 2018 11:51

    Несколько вариантов:
    * спросить тут
    * под видео на youtube
    * под статьёй на https://blog.it-kb.ru/tag/ovirt/
    * в англоязычной рассылке ovirt-users

14. Александр:
    ����� 2, 2018 16:59

    Есть множество мелких вопросов с которыми бы вы могли помочь в скайпе например или телеграме потратив 5 минут.
    Простите за наглость но не могли бы вы написать мне на почту как с вами можно связаться и пообщаться.

Leave a comment

Имя

Mail (will not be published)

Сайт

Δ

CAPTCHA Code *