Кластер Своими Руками

Форум: Цифровая Техника и Программное обеспечение

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 12:23

Всем снова огромный преогромный Привет!
Как и обещал, будет продолжение! :D
долго ждали наверное

Итак начнем:

Часть 1

Кластером это-Группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс, поподробнее про кластеры вот тут, так-же есть ТОП500 самых мощных кластеров.

Кластеры разделяют по типам:
1)Кластеры высокой доступности
2)Кластеры распределения нагрузки (Network Load Balancing, NLB)
3)Вычислительные кластеры
4)Системы распределенных вычислений (grid)
5)Кластер серверов, организуемых программно

P.s подробнее можете прочитать на вкикипедии, ссылка дана выше.

По сути это много компьютеров соединенных вместе, и работают они все слаженно.

У каждого кластера есть ОДИН главный компьютер, и ноды, на ГЛАВНОМ компьютере стоит весь софт(если кластер бездисковый поподробнее чуть-чуть позже), но если он не бездисковый, то у каждого нода есть HDD на котором хранится загрузочная система и файлы которые "рождаются" при его работе, при бездисковом кластере, вся система стоит на ГЛАВНОМ компьютере, другие ноды стоят без HDD, и в биосе у них стоит загрузка по сети так-же известная как NetBoot, подробнее о загрузке по сети вот тут и вот тут ,
при включении такого кластера, сначала включаются ГЛАВНЫЙ компьютер, затем запускается специальная программа, и только затем включаются ноды, спросите почему?
Отвечаю: При загрузке по сети, материнка как обычно загружается, соединяется с главным пк и ждет от него данные, но ждет она эти данные от 5 до 15 сек, и если данные не получены, вылетает запрос "Для продолжения нажмите ENTER" и она не начнет ожидать данных до тех пор, пока вы не нажмете ENTER.
Загрузка по сети, это что касается материнок со встроенным ENTERNET контролером.
Но что же делать при отсутствии этого контролера? честно? пока не разобрался :oops: ...

Часть 2

Системное ПО

Для самого проекта был взят OpenMOSIX(это патч ядра Linux), но проект уже закрыт и к тому же он не распределял нагрузку на все ноды, а задача просто напросто прерходила с одного Пк на другой, и при этом она потихоньку выполнялась, подробнее вот тут.
Для своего кластера мне не хотелось пихать на каждую материнку HDD и поэтому я перешел к поиску бездискового кластера, а если быть точным, готовой системы, и что же вы думаете? я нашел, несколько таких систем:
PelicanHPC(кстати есть русский туториал он вот тут , KestrelHPC(использует Ubuntu подобно OpenMosix, но за основу его подтолкнул PelicanHPC), Beowolf(практическое руководство, так же про него есть статья на Википедии) ну систем много, но я пока остановился на PelicanHPC его я опробовал на двух ноутбуках, все вышло, но с материнками пока не все так просто :(

Всем спасибо кто помогал, но это не значит что тема окончена! Подробнее:Сейчас не хватат БП, и систем охлаждений, боксовых кулеров, и т.п, так же, заберу всяко-разно барахло.

Части будут продолжатся, кому интересно ждите продолжения, кому не интересно, ни кого не заставляю читать, обсуждение можете писать прям сюда, вопросы и помощь, тоже сюда! :D

В следующих частях будет обсуждение по стойкам, как все компактно расположить, и т.п

Так же планируется оформление статьи для выкладывания на хабар

Евгений Моторкин, sdqf_20@mail.ru, 15 лет.
Последний раз редактировалось SDQF 17 июн 2014, 13:46, всего редактировалось 1 раз.

Реклама в интернет
Реклама на сайте
,
Рекламное агентство Хабаровска
Аватара пользователя
Brian
Он живет тут
Сообщения: 5436
Зарегистрирован: 22 июн 2006, 23:36
Откуда: Хабаровск
Благодарил (а): 31 раз
Поблагодарили: 55 раз
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение Brian » 17 июн 2014, 12:29

Хоть раз фотку собранного уже сделай..

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 12:45

Brian писал(а):Хоть раз фотку собранного уже сделай..
Собрал только для тестов, да на КОВРЕ это не все что есть.
терминалом служит ноутбук
Изображение
Изображение
Изображение
Изображение
Изображение
Изображение
Изображение

alexkhv
Новичок - резкий, как газ
Сообщения: 3
Зарегистрирован: 20 сен 2011, 10:25

Re: Кластер Своими Руками

Непрочитанное сообщение alexkhv » 17 июн 2014, 12:54

Какие задачи будет решать этот "кластер" ?

Аватара пользователя
wd
Он живет тут
Сообщения: 6670
Зарегистрирован: 26 июл 2006, 14:26
Откуда: Ха
Благодарил (а): 42 раза
Поблагодарили: 90 раз
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение wd » 17 июн 2014, 13:03

SDQF
Админом тебе надо... в школу куда-нибудь... :wink:

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 13:06

alexkhv писал(а):Какие задачи будет решать этот "кластер" ?
Ddos атаки, взлом паролелй, взлом серверов США
в 3D по биологии, математические расчеты.

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 13:08

wd писал(а):SDQF
Админом тебе надо... в школу куда-нибудь... :wink:
никуда, у нас 4 школы, из них одна для 10-11 классов, перешел туда, 53(учился до этого в ней), 5шк, 3шк, все.

Nikoley
Он видел зарождение Вселенной
Сообщения: 20692
Зарегистрирован: 18 дек 2006, 09:29
Откуда: Хабаровск
Благодарил (а): 738 раз
Поблагодарили: 1933 раза
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение Nikoley » 17 июн 2014, 14:14

wd писал(а):Админом тебе надо... в школу куда-нибудь...
Главное - парню не жениться преждевременно. А то тогда накроется все ... медным роутером! :D

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 14:20

Nikoley писал(а):
wd писал(а):Админом тебе надо... в школу куда-нибудь...
Главное - парню не жениться преждевременно. А то тогда накроется все ... медным роутером! :D
Да ладно вам шутки шутить, уже куча просмотров, а коментариев что то мало :(

СДД
Друг форума
Сообщения: 533
Зарегистрирован: 28 сен 2011, 03:04

Re: Кластер Своими Руками

Непрочитанное сообщение СДД » 17 июн 2014, 14:23

А в танчики поиграть на нем можно будет? :D

СДД
Друг форума
Сообщения: 533
Зарегистрирован: 28 сен 2011, 03:04

Re: Кластер Своими Руками

Непрочитанное сообщение СДД » 17 июн 2014, 14:24

А если серьезно: на какую мощность планируешь выйти к финалу проекта?

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 14:28

Leonidas писал(а):А в танчики поиграть на нем можно будет? :D
Можно! И не только в Танчики, можно будет попробовать съесть всю базу данных сша за их глупое слежение, и бегать от правоохранитольных органов США призраков, как в PacMan :mrgreen:

Аватара пользователя
wd
Он живет тут
Сообщения: 6670
Зарегистрирован: 26 июл 2006, 14:26
Откуда: Ха
Благодарил (а): 42 раза
Поблагодарили: 90 раз
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение wd » 17 июн 2014, 14:30

SDQF
я б всё таки ориентировался на ноды с собственной загрузкой. Тогда будет возможность после обкатки технологии и софта взять в аренду сотни две нормальных железяк в дата-центрах по всему миру. И жахнуть. :D

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 14:36

Leonidas писал(а):А если серьезно: на какую мощность планируешь выйти к финалу проекта?
Сказать сложно, два ноутбука подключил, без коммутатора, один пк 560мфлопс, вместе 1~гигафлоп, подключаю с комутатором, 280мфлопс каждый пк, так не честно :(
У меня много материнок лежит, штук 20, по сути дела, это готовые ноды.
Еще хочется что бы некоторые ноды питались от одного БП.

Nikoley
Он видел зарождение Вселенной
Сообщения: 20692
Зарегистрирован: 18 дек 2006, 09:29
Откуда: Хабаровск
Благодарил (а): 738 раз
Поблагодарили: 1933 раза
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение Nikoley » 17 июн 2014, 14:57

SDQF писал(а):Еще хочется что бы некоторые ноды питались от одного БП.
Мощность каждого и общую скажи.
Подскажу недорогое решение.

В общем принцип таков:

Нужен один ( два если нужен резерв) мощных блоков питания на одно напряжение . 12 или 24 вольта.
И затем каждая материнка через свой адаптер 12 V -> ATX запитывается от этого одного блока питания.

При таком построении гораздо легче и дешевле решить несколько моментов:
Запитать недорого большое количество потребителей.
Обеспечить всех недорого гарантированным питанием с резервом от аккумулятора.

HUGER
Он живет тут
Сообщения: 6305
Зарегистрирован: 22 окт 2004, 11:05
Откуда: Хабаровск, СПб
Благодарил (а): 42 раза
Поблагодарили: 84 раза

Re: Кластер Своими Руками

Непрочитанное сообщение HUGER » 17 июн 2014, 15:39

SDQF

Респект и уважуха !!!

Хороше что молодежь не только в игры играет !

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 15:39

Nikoley а вот это мне нравится, только как быть с 24 контактным пином на материнке? там же ведь разные провода, отвечающие за разное напряжение, вот тут
+12V1DC
+12V2DC
+5 VDC
+3.3 VDC
−12 VDC
+5 VSB
и как тогда преобразовывать 12-24В?

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 15:45

HUGER писал(а):SDQF

Респект и уважуха !!!

Хороше что молодежь не только в игры играет !
ой, ну спасибо :girlrev:

Nikoley
Он видел зарождение Вселенной
Сообщения: 20692
Зарегистрирован: 18 дек 2006, 09:29
Откуда: Хабаровск
Благодарил (а): 738 раз
Поблагодарили: 1933 раза
Контактная информация:

Re: Кластер Своими Руками

Непрочитанное сообщение Nikoley » 17 июн 2014, 15:53

SDQF
Ты скажи потребляемые мощности всех своих компонентов кластера.
Тогда смогу предоставить более менее точную комплектацию с ценами и блок схему как это все собрать в кучу.
Насчет 24 пин не беспокойся. Усе будет в норме!

Аватара пользователя
SDQF
Новичок - резкий, как газ
Сообщения: 39
Зарегистрирован: 16 фев 2014, 23:07

Re: Кластер Своими Руками

Непрочитанное сообщение SDQF » 17 июн 2014, 16:03

Nikoley писал(а):SDQF
Ты скажи потребляемые мощности всех своих компонентов кластера.
Тогда смогу предоставить более менее точную комплектацию с ценами и блок схему как это все собрать в кучу.
Насчет 24 пин не беспокойся. Усе будет в норме!
Вы мне хотите предложить:
Взять мощный блок на 12V и к нему подключить вот такие или вот такие штуки на материнку?
я точно не знаю сколько все вместе кушает, их много, тем более один пк игровой, другой простая офисная машина...

Рекламное агентство Хабаровск
Рекламное агентство Хабаровск
Ответить

Вернуться в «Цифровая Техника и Программное обеспечение»