Как создать свой собственный сервер облачного хранилища за небольшую плату

Если вы управляете малым или средним бизнесом, требующим большого количества цифрового хранилища, придет время, когда вам понадобится ваше собственное облако. Будь то хранилище для клиентов или резервные копии данных компании, крупные провайдеры не обходятся дешево. Вы, вероятно, рассматриваете Amazon S3, Dell, Sun, EMC и NetApp и другие..

Но если вы действительно хотите сократить расходы, возьмите вызов в свои руки. С несколькими хитростями и небольшим ноу-хау, вы можете получить педабайты хранилища всего за одну десятую от цены любого из этих известных брендов..

В этом руководстве мы покажем вам, как использовать несколько ключевых ингредиентов:

• Жесткие диски потребительского уровня для снижения затрат
• Легкодоступные товарные компоненты
• Компактные стойки и ящики
• Бесплатно программное обеспечение
• HTTPS для хранения и извлечения данных

Этот метод был опробован и протестирован BackBlaze, компанией облачного резервного копирования, которая впервые применила эту схему. Мы в значительной степени позаимствуем знания, которыми BackBlaze щедро делится с миром..

Диски и компоненты

Когда вы избавляетесь от всего, кроме основной функции того, что делают все крупные корпоративные облачные бренды, вы получаете простую передачу данных с жесткого диска через Интернет и с него. Если вы создаете свой собственный облачный сервер, приобретаемые вами жесткие диски будут в значительной степени определять цену и составлять в целом – по меньшей мере, половину и до 80 процентов – ваших инвестиций..

Программное обеспечение является бесплатным, поэтому остальная часть поступает из корпуса, стоек и всех компонентов. Дизайн с открытым исходным кодом для новейшего корпуса Backblaze утверждает, что он может снизить стоимость всего до 3,6 цента на ГБ хранилища, что составляет 240 ТБ при учете всех 60 накопителей. Стручки расположены в стойках 4U, а дизайн 6.0 простирается на несколько дюймов от края, поэтому подумайте, сколько места у вас в серверной комнате.

Вы можете купить один из этих «модулей», предварительно собранных, за сумму от 3000 до 7000 долларов, в зависимости от того, сколько слотов для жестких дисков вам нужно, от 45 дисков или Blackblaze. С готовым модулем единственное, что вам нужно купить, – это жесткие диски.

Или вы можете построить его самостоятельно. Для модуля 6-го поколения с 60 жесткими дисками полный список деталей вместе с ориентировочными ценами можно найти в этом PDF-файле. Большинство компонентов можно найти в Newegg и Amazon, но некоторые поступят от специальных дистрибьюторов или сборщиков контрактов..

Несмотря на то, что детали различаются для каждой версии дизайна Backblaze, вот общее краткое изложение всего, что вам нужно:

• 4U шасси
• Источник питания
• Выключатель
• Корпус вентилятора
• Увлажнители
• Крепления для вентиляторов
• Материнская плата
• Вентилятор процессора
• CPU (Intel)
• 8 ГБ ОЗУ
• Объединительные платы умножителей портов
• Карты SATA III
• SATA III кабели
• Кабельные жгуты
• Винты и кабельные стяжки

сборочный

Когда у вас есть все детали, самое время начать сборку. Вы можете скачать следующее с BackBlaze:

• Электрические схемы (ZIP файл)
• Маршруты проводки (ZIP-файл)
• Сборка книги (PDF)

В целом установка на 60 дисков стоит, по оценкам BackBlaze, около 3500 долларов. Помните, что не включает диски. По словам компании, с 45 жесткими дисками по 4 ТБ общий счет составляет около 10 500 долларов.

Обратите внимание, что в более ранней версии BackBlaze использовала прямую проводную настройку, при которой все жесткие диски подключались непосредственно к карте SATA Rocket 750. Позже они вернулись к своей первоначальной конфигурации, которая использует объединительные платы умножителей портов, каждый из которых содержит пять дисков. В зависимости от того, какое оборудование доступно по какой цене, оба варианта хороши.

Создание облака

Итак, теперь вы создали огромный сервер хранения данных на долю от того, что стоило бы вам использовать чужие серверы, но вам все равно нужно превратить его в облако, доступное для клиентов, сотрудников и / или приложений..

Давайте работать снизу вверх. Backblaze рекомендует использовать 64-разрядную версию Debian Linux в качестве операционной системы. Утилита fdisk используется для создания одного раздела на диске. Если вы купили одну из готовых коробочек, многие драйверы будут поставляться с предустановленной версией. Диски сгруппированы в наборы по 15 в тома RAID6 с двумя дисками четности каждый с использованием утилиты mdadm.

Теперь вы должны выбрать между файловой системой JFS или ext4. Ext4 более распространен, но JB – это то, что использует BackBlaze. Каждый модуль имеет свой собственный IP-адрес HTTPS, то есть способ доступа к нему. ext4 поддерживает до 1EiB, но дистрибутив e2fsprogs поддерживает только 16TB. Построение из источника с использованием 64-битного флага решает эту проблему.

Как только все будет готово, вы получите около 83 процентов полезного пространства от общего количества. Именно здесь мы должны перестать полагаться на Backblaze для консультаций, поскольку его облачное программное обеспечение является проприетарным.

У вас есть несколько вариантов облачного программного обеспечения. NFS опробован и протестирован в Linux, но не все, что совместимо с мобильными устройствами.

Другой вариант – Oxygen Cloud, который использует Oxygen Storage Connector для преобразования использованного хранилища на сервере в хранилище, которое можно использовать с приложениями Oxygen Cloud. Кислородное облако шифрует данные в процессе сквозного транзита. Вы также получаете доступ к Oxygen Tunnel Gateways, который позволяет вам получить доступ к вашему хранилищу вне вашего собственного брандмауэра без необходимости изменять конфигурацию.

Недостатки

Прежде чем перейти к Newegg и начать заполнять свою корзину для покупок жесткими дисками и компонентами, важно учесть потенциальные недостатки, связанные с отсутствием такого поставщика, как Amazon S3 или EMC..

Самый большой риск в том, что вы можете потерять данные. Это означает, что вы можете потерять работу и / или нанести вред своей компании и коллегам. Система использует один диск для операционной системы хоста, некоторые не имеют резервных или отказоустойчивых источников питания, и любое программное обеспечение для проверки работоспособности или мониторинга должно быть создано, установлено и настроено вручную..

Это также не так просто расширять или поддерживать. Когда вы платите за Amazon S3, за вас все заботятся. Но такая простая задача, как замена вышедшего из строя диска в модуле хранения «Сделай сам», требует удаления 12 винтов и верхней крышки, не говоря уже о настройке проводки. Большая часть необходимого обслуживания потребует отключения системы и, возможно, выключения.

Простейшим решением обеих этих проблем является создание дополнительного одного или нескольких резервных серверов, которые будут выполнять функции отработки отказа..

Все изображения Backblaze лицензированы в соответствии с CC BY 2.0