высокопроизводительные серверы для взыскательных заказчиков
сбалансированные серверные платформы для универсальных нагрузок
централизованное ПО управления устройствами YADRO
семейство систем хранения данных начального уровня
cистемы хранения для корпоративных приложений, аналитики и платформ виртуализации
высоко масштабируемые системы для объектного хранения данных
Высокопроизводительные серверы
линейка коммутаторов для центров обработки данных

Использование глубинных нейронных сетей для прогнозирования потенциальных сбоев, критических ситуаций снижения производительности, недоступности и потери данных в работе систем хранения данных

Высокая надежность хранения данных, усиленная алгоритмами машинного обучения

Совместная научно-прикладная иницииатива YADRO, Национального исследовательского университета Высшей школы экономики (НИУ ВШЭ) и Санкт-Петербургского политехнического университета Петра Великого
В современную эпоху больших данных, интернета вещей и аналитики в реальном времени крупные компании вынуждены аккумулировать и хранить постоянно возрастающие объемы структурированных и неструктурированных данных. По прогнозу аналитической компании IDC, всемирный объем данных, подлежащих хранению, удвоится в ближайшие несколько лет. В то же время, постоянно растут требования к доступности и надежности данных. В связи с этим компаниям очень важно минимизировать риск внезапного повреждения, уязвимости или потери данных. Доступ к данным должен быть легким, мгновенным, постоянным и предсказуемым.

Поскольку требования к инфраструктуре хранения данных постоянно возрастают, сбои в работе СХД чреваты значительными финансовыми потерями для компаний. Точное и своевременное прогнозирование сбоев позволяет им проактивно предотвращать недоступность и потерю данных.
В современную эпоху больших данных, интернета вещей и аналитики в реальном времени крупные компании вынуждены аккумулировать и хранить постоянно возрастающие объемы структурированных и неструктурированных данных. По прогнозу аналитической компании IDC, всемирный объем данных, подлежащих хранению, удвоится в ближайшие несколько лет. В то же время, постоянно растут требования к доступности и надежности данных. В связи с этим, компаниям очень важно минимизировать риск внезапного повреждения, уязвимости или потери данных. Доступ к данным должен быть легким, мгновенным, постоянным и предсказуемым.

Поскольку требования к инфраструктуре хранения данных постоянно возрастают, сбои в работе СХД чреваты значительными финансовыми потерями для компаний. Точное и своевременное прогнозирование сбоев позволяет им проактивно предотвращать недоступность и потерю данных.

Мы убеждены, что надежность, отказоустойчивость и высокая доступность сервиса хранения данных платформы TATLIN критически важны. Поэтому одна из наших совместных научно-прикладных инициатив была сфокусирована на поиске эффективного решения для реализации данных характеристик. С помощью алгоритмов машинного обучения это решение будет минимизировать риски потенциального сбоя системы и потери данных.

Чтобы решить эту задачу, мы реализовали совместный научно-прикладной проект с Национальным исследовательским университетом Высшей школы экономики (НИУ ВШЭ) и Санкт-Петербургским политехническим университетом Петра Великого (СПбПУ), целью которого являлась разработка алгоритмов машинного обучения для обеспечения возможности предиктивного обслуживания и мониторинга здоровья работы системы хранения данных TATLIN.
Мы убеждены, что надежность, отказоустойчивость и высокая доступность сервиса хранения данных платформы TATLIN критически важны. Поэтому одна из наших совместных научно-прикладных инициатив была сфокусирована на поиске эффективного решения для реализации данных характеристик. С помощью алгоритмов машинного обучения это решение будет минимизировать риски потенциального сбоя системы и потери данных.

Чтобы решить эту задачу, мы реализовали совместный научно-прикладной проект с Национальным исследовательским университетом Высшей школы экономики (НИУ ВШЭ) и Санкт-Петербургским политехническим университетом Петра Великого (СПбПУ), целью которого являлась разработка алгоритмов машинного обучения для обеспечения возможности предиктивного обслуживания и мониторинга здоровья работы системы хранения данных TATLIN.
С помощью встроенных инструментов самодиагностики, функционирующих на основе алгоритмов машинного обучения, СХД TATLIN осуществляет автоматическое прогнозирование критических ситуаций, таких как снижение производительности, потеря данных, сбои в чтении/записи данных, и также минимизирует прочие риски.
Вместе с нашими партнерами мы создали встроенный промышленный компонент, обеспечивающий сокращение таких рисков за счет использования целой фабрики моделей глубинного машинного обучения нашей собственной реализации.

В основе нашего инновационного подхода лежит использование комбинации нескольких глубинных нейронных сетей, разработанных для прогнозирования аномального поведения платформы TATLIN компании YADRO. Ключевым моментом реализованного нами подхода является возможность выявлять паттерны и закономерности в функционировании систем хранения данных, находящиеся вне границ возможных сценариев, которые мы можем предположить своим инженерным умом.

При этом, мы также фокусировались на моделировании таких сценариев надежной и бесперебойной работы СХД, которые находятся за пределами тех, под требования которых система изначально была разработана. Платформа TATLIN обеспечивает непрерывный мониторинг и накапливает исторические данные о здоровье системы, которые обрабатываются с помощью технологий машинного обучения. Благодаря данному функционалу, платформа способна прогнозировать различные неочевидные сценарии маловероятных отказов в сервисах хранения, которые влияют на производительность и доступность данных.

Чтобы максимально повысить точность таких предсказаний, платформа TATLIN использует для анализа гибридную модель данных — не только реальные данные о здоровье СХД, но и имитационные, симулированные цифровым двойником платформы.

Наша совместная исследовательская группа разработала этот цифровой двойник платформы TATLIN, созданный на базе технологий машинного обучения с подкреплением. Он необходим, чтобы моделировать и воспроизводить разнообразные сценарии сбоев намного быстрее, чем реальная платформа хранения данных. Такой подход позволил обучить алгоритм, используя более качественные исходные данные. Кроме того, наша команда использовала фабрику, содержащую целый комплекс алгоритмов машинного обучения с учителем и без, чтобы выдавать более точные и надежные прогнозы.

В текущей версии платформы TATLIN представлена ранняя версия модуля предиктивного мониторинга и эксплуатации системы хранения данных, аналитические возможности которого будут развиваться с увеличением срока продуктивной эксплуатации системы.

Мы считаем, что инновации чрезвычайно важны для предиктивного обслуживания TATLIN, и планируем продолжить совместные исследования в этой области. В конце 2019 года мы планируем опубликовать научные работы и получить патенты, связанные с этим исследованием.
Вместе с нашими партнерами мы создали встроенный промышленный компонент, обеспечивающий сокращение таких рисков за счет использования целой фабрики моделей глубинного машинного обучения нашей собственной реализации.

В основе нашего инновационного подхода лежит использование комбинации нескольких глубинных нейронных сетей, разработанных для прогнозирования аномального поведения платформы TATLIN компании YADRO. Ключевым моментом реализованного нами подхода является возможность выявлять паттерны и закономерности в функционировании систем хранения данных, находящиеся вне границ возможных сценариев, которые мы можем предположить своим инженерным умом.

При этом мы также фокусировались на моделировании таких сценариев надежной и бесперебойной работы СХД, которые находятся за пределами тех, под требования которых система изначально была разработана. Платформа TATLIN обеспечивает непрерывный мониторинг и накапливает исторические данные о здоровье системы, которые обрабатываются с помощью технологий машинного обучения. Благодаря данному функционалу, платформа способна прогнозировать различные неочевидные сценарии маловероятных отказов в сервисах хранения, которые влияют на производительность и доступность данных.
Чтобы максимально повысить точность таких предсказаний, платформа TATLIN использует для анализа гибридную модель данных — не только реальные данные о здоровье СХД, но и имитационные, симулированные цифровым двойником платформы.

Наша совместная исследовательская группа разработала этот цифровой двойник платформы TATLIN, использующий технологии машинного обучения с подкреплением, чтобы моделировать и воспроизводить разнообразные сценарии сбоев намного быстрее, чем реальная платформа хранения данных. Такой подход позволил обучить алгоритм, используя более качественные исходные данные. Кроме того, мы использовали фабрику, содержащую целый комплекс алгоритмов машинного обучения с учителем и без, чтобы выдавать более точные и надежные прогнозы.

В текущей версии платформы TATLIN представлена ранняя версия модуля предиктивного мониторинга и эксплуатации, аналитические возможности которого будут развиваться с увеличением срока продуктивной эксплуатации системы.

Мы убеждены, что такое инновационное решение чрезвычайно важно для предиктивного обслуживания TATLIN, и будем продолжать исследования в этой области. В конце 2019 года мы планируем опубликовать научные работы и получить патенты, связанные с этим исследованием.
Сила интеграции экспертизы участников совместных инициатив
Мы интегрировали глубочайшие знания в области искусственного интеллекта, творческий подход и технологический опыт. Представители науки и различных индустрий объединились, чтобы разработать эффективную интеллектуальную систему на базе алгоритмов глубинного машинного обучения, которая постоянно обеспечивает максимальную надежность системы хранения данных TATLIN.
International Journal of Civil Engineering & Technology; 9, выпуск 11: 220-22, ID статьи: IJCIET_09_11_022, публикация проиндексирована в базе данных Scopus
А. В. Неволин, YADRO, Москва, Россия
М. Е. Карпов, К. Арзиматов, В. С. Белавин, А. А. Сапронов и А. Е. Устюжанин
Национальный исследовательский университет Высшей школы экономики, Москва, Россия
Опубликована на сайте iaeme.com
Андрей Неволин, YADRO, Москва, Россия
Владислав Белавин, Кененбек Арзиматов, Максим Карпов
Национальный исследовательский университет Высшей школы экономики, Москва, Россия
Андрей Сапронов, Объединенный институт ядерных исследований, Дубна, Россия
Андрей Устюжанин, Московский физико-технический институт, Долгопрудный, Россия
Опубликована на сайте iaeme.com
«Цифровые двойники: искусственный интеллект и классическое моделирование»
Владислав Белавин, Кененбек Арзиматов, Максим Карпов, Андрей Сапронов, Андрей Устюжанин
22 мая 2019 года
https://www.osp.ru/iz/ai2019/
«Активное обучение цифровых двойников для превентивного устранения причин отказов сложных систем»
Владислав Белавин, Кененбек Арзиматов, Максим Карпов, Андрей
Сапронов, Андрей Устюжанин
14 февраля 2019 года
http://opentalks.ai/