Коллеги, вот и появились первые результаты от нашего взаимодействия с компанией «Диамант» ex. Quantum. И ввиду этого хотелось бы чуть больше раскрыть вопрос, что это за продукт, который мы несем в рынок. Коротко расскажу, из чего собирается сверхвысоконагруженное решение для хранения данных. И как это реализовано в рамках монобренда, максимально согласованный между узлами. Для начала что за задачи стоят перед такой системой (all-flash + hybrid + LTO): уменьшения RPO и RTO и всё это за минимальные деньги. А теперь про то, как именно это реализуется

1.Три уровня хранения: «сын-отец-дед» У нас классическая пирамида, но с апгрейдом: «Сын» (первый уровень) - инкрементные бэкапы, сверхбыстрый кэш на NVMe (день-неделя). «Отец» (второй уровень) - ближний бэкап на HDD (неделя-месяц). «Дед» (третий уровень) - долговременный архив на ленте. возможет WORM (месяц+).

Первый уровень: Запрос - «нужна скорость выгрузки бэкапов 80 гигабайт в секунду». Тут используем 800 гигабит интерфесы. Для России это значит: сильно проще и дешевле использовать сервер на NVMe. учитывая, что данные там живут недолго (от часов до недели). тут более-менее понятно. Рейды делаются программно. Аппаратное подключение только замедляет коннект и выступает узким горлышком. Ремарка, фактически используем проприетарное решение от Supermicro, где накопители используют NVMe-Of RDMA, так что данные не проходят через процессор и "бегут" непосредственно в RAM. P.S. Если вы инженерное бюро, то для восстановления после кибератаки - вам хватит и медленного второго уровня или вообще чистого решения на LTO. P.P.S. Кстати, закину удочку: следующий пост думаю оформить про российского вендора, который в качестве кэша в своем хранилище использует видеопамять NVIDIA Tesla. На что только не пойдешь, когда отключают от технологий XD

Второй уровень: Это уже бэкап за неделю. Скорость можно понизить - вероятность запроса сильно снижается. Самое главное: благодаря такому формату бэкап большего объема помещается на меньшее количество устройств. Пример: бэкап 80 ТБ на первом уровне, так можно уместить 2 бэкапа на 24 ssd по 7,68 и занять 2u. На HDD же в 24Tb в 2u вмещается уже 3 таких слепка. Занимает меньше места, сильно меньше электроэнергии и при этом всё ещё высоко доступный. Отказоустойчивость не только RAID, но и n+1 в формате контроллеров. Три полки дают доступность как минимум >99% и возможность "потерять, но всё ещё работать" без 1 полки, не требуя пересчёта данных на накопителях.

Третий уровень Подключаем всё к ленточной библиотеке в единый интерфейс. Концептуальное решение от Диамант (Quantum). Один девайс - до 24 приводов LTO (интерфейсов ввода-вывода) и до 1200 картриджей (носителей информации). Про LTO и их версии LTO-10: до 1000 МБайт/с нативный. Со сжатием - до 2750 МБайт/с. (Сейчас можно достать только у Диаманта, остальные производители пока не довозились до рф) LTO-9: до 400 МБайт/с нативный. Со сжатием - до 1000 МБайт/с (данный интерфейс обратно совместим с LTO-8, в отличие от LTO-10) Сжатие реальными цифрами: Банки: 2.5-4 раза. Инженерные компании: 10-12 раз. А чисто теоретически сжатие может достигать и 30 раз Медиафайлы (на примере медицинских систем): почти не сжимаемы, максимум к которому приходили сжатие в 2 раза. Поэтапное сжатие и уменьшение изначальных объемов бэкапа. Если на втором уровне бэкап делался раз в неделю, то на нижнем уровне мы обеспечиваем доступность после перехода планки "раз в месяц" и содержит максимально обширные отпечатки. Для повышения доступности и отказоустойчивости отпечатки распределяются между несколькими носителями и, соответственно, могут быть считаны параллельно.

продолжение в следующем посте