В современную эпоху больших данных, интернета вещей и аналитики в реальном времени крупные компании вынуждены аккумулировать и хранить постоянно возрастающие объемы структурированных и неструктурированных данных.
По прогнозу аналитической компании IDC, всемирный объем данных, подлежащих хранению, удвоится в ближайшие несколько лет. В то же время, постоянно растут
требования к доступности и надежности данных. В связи с этим компаниям очень важно минимизировать риск внезапного повреждения, уязвимости или потери данных. Доступ к данным должен быть легким, мгновенным, постоянным и предсказуемым.
Поскольку требования к инфраструктуре хранения данных постоянно возрастают,
сбои в работе СХД чреваты значительными финансовыми потерями для компаний. Точное и своевременное прогнозирование сбоев позволяет им проактивно предотвращать недоступность и потерю данных.
В современную эпоху больших данных, интернета вещей и аналитики в реальном времени крупные компании вынуждены аккумулировать и хранить постоянно возрастающие объемы структурированных и неструктурированных данных. По прогнозу аналитической компании IDC, всемирный объем данных, подлежащих хранению, удвоится в ближайшие несколько лет. В то же время, постоянно растут требования к доступности и надежности данных. В связи с этим, компаниям очень важно минимизировать риск внезапного повреждения, уязвимости или потери данных. Доступ к данным должен быть легким, мгновенным, постоянным и предсказуемым.
Поскольку требования к инфраструктуре хранения данных постоянно возрастают, сбои в работе СХД чреваты значительными финансовыми потерями для компаний. Точное и своевременное прогнозирование сбоев позволяет им проактивно предотвращать недоступность и потерю данных.
Мы убеждены, что надежность, отказоустойчивость и высокая доступность сервиса хранения данных платформы TATLIN критически важны. Поэтому одна из наших совместных научно-прикладных инициатив была сфокусирована на поиске эффективного решения для реализации данных характеристик. С помощью алгоритмов машинного обучения это решение будет минимизировать риски потенциального сбоя системы и потери данных.
Чтобы решить эту задачу, мы реализовали совместный научно-прикладной проект с Национальным исследовательским университетом Высшей школы экономики (НИУ ВШЭ) и Санкт-Петербургским политехническим университетом Петра Великого (СПбПУ), целью которого являлась разработка алгоритмов машинного обучения для обеспечения возможности предиктивного обслуживания и мониторинга здоровья работы системы хранения данных TATLIN.
Мы убеждены, что надежность, отказоустойчивость и высокая доступность сервиса хранения данных платформы TATLIN критически важны. Поэтому одна из наших совместных научно-прикладных инициатив была сфокусирована на поиске эффективного решения для реализации данных характеристик. С помощью алгоритмов машинного обучения это решение будет минимизировать риски потенциального сбоя системы и потери данных.
Чтобы решить эту задачу, мы реализовали совместный научно-прикладной проект с Национальным исследовательским университетом Высшей школы экономики (НИУ ВШЭ) и Санкт-Петербургским политехническим университетом Петра Великого (СПбПУ), целью которого являлась разработка алгоритмов машинного обучения для обеспечения возможности предиктивного обслуживания и мониторинга здоровья работы системы хранения данных TATLIN.
С помощью встроенных инструментов самодиагностики, функционирующих на основе алгоритмов машинного обучения, СХД TATLIN осуществляет автоматическое прогнозирование критических ситуаций, таких как снижение производительности, потеря данных, сбои в чтении/записи данных, и также минимизирует прочие риски.
Вместе с нашими партнерами мы создали встроенный промышленный компонент, обеспечивающий сокращение таких рисков за счет использования целой фабрики моделей глубинного машинного обучения нашей собственной реализации.
В основе нашего инновационного подхода лежит использование комбинации нескольких глубинных нейронных сетей, разработанных для прогнозирования аномального поведения платформы TATLIN компании YADRO. Ключевым моментом реализованного нами подхода является возможность выявлять паттерны и закономерности в функционировании систем хранения данных, находящиеся вне границ возможных сценариев, которые мы можем предположить своим инженерным умом.
При этом, мы также фокусировались на моделировании таких сценариев надежной и бесперебойной работы СХД, которые находятся за пределами тех, под требования которых система изначально была разработана. Платформа TATLIN обеспечивает непрерывный мониторинг и накапливает исторические данные о здоровье системы, которые обрабатываются с помощью технологий машинного обучения. Благодаря данному функционалу, платформа способна прогнозировать различные неочевидные сценарии маловероятных отказов в сервисах хранения, которые влияют на производительность и доступность данных.
Чтобы максимально повысить точность таких предсказаний, платформа TATLIN использует для анализа гибридную модель данных — не только реальные данные о здоровье СХД, но и имитационные, симулированные цифровым двойником платформы.
Наша совместная исследовательская группа разработала этот цифровой двойник платформы TATLIN, созданный на базе технологий машинного обучения с подкреплением. Он необходим, чтобы моделировать и воспроизводить разнообразные сценарии сбоев намного быстрее, чем реальная платформа хранения данных. Такой подход позволил обучить алгоритм, используя более качественные исходные данные. Кроме того, наша команда использовала фабрику, содержащую целый комплекс алгоритмов машинного обучения с учителем и без, чтобы выдавать более точные и надежные прогнозы.
В текущей версии платформы TATLIN представлена ранняя версия модуля предиктивного мониторинга и эксплуатации системы хранения данных, аналитические возможности которого будут развиваться с увеличением срока продуктивной эксплуатации системы.
Мы считаем, что инновации чрезвычайно важны для предиктивного обслуживания TATLIN, и планируем продолжить совместные исследования в этой области. В конце 2019 года мы планируем опубликовать научные работы и получить патенты, связанные с этим исследованием.
Вместе с нашими партнерами мы создали встроенный промышленный компонент, обеспечивающий сокращение таких рисков за счет использования целой фабрики моделей глубинного машинного обучения нашей собственной реализации.
В основе нашего инновационного подхода лежит использование комбинации нескольких глубинных нейронных сетей, разработанных для прогнозирования аномального поведения платформы TATLIN компании YADRO. Ключевым моментом реализованного нами подхода является возможность выявлять паттерны и закономерности в функционировании систем хранения данных, находящиеся вне границ возможных сценариев, которые мы можем предположить своим инженерным умом.
При этом мы также фокусировались на моделировании таких сценариев надежной и бесперебойной работы СХД, которые находятся за пределами тех, под требования которых система изначально была разработана. Платформа TATLIN обеспечивает непрерывный мониторинг и накапливает исторические данные о здоровье системы, которые обрабатываются с помощью технологий машинного обучения. Благодаря данному функционалу, платформа способна прогнозировать различные неочевидные сценарии маловероятных отказов в сервисах хранения, которые влияют на производительность и доступность данных.
Чтобы максимально повысить точность таких предсказаний, платформа TATLIN использует для анализа гибридную модель данных — не только реальные данные о здоровье СХД, но и имитационные, симулированные цифровым двойником платформы.
Наша совместная исследовательская группа разработала этот цифровой двойник платформы TATLIN, использующий технологии машинного обучения с подкреплением, чтобы моделировать и воспроизводить разнообразные сценарии сбоев намного быстрее, чем реальная платформа хранения данных. Такой подход позволил обучить алгоритм, используя более качественные исходные данные. Кроме того, мы использовали фабрику, содержащую целый комплекс алгоритмов машинного обучения с учителем и без, чтобы выдавать более точные и надежные прогнозы.
В текущей версии платформы TATLIN представлена ранняя версия модуля предиктивного мониторинга и эксплуатации, аналитические возможности которого будут развиваться с увеличением срока продуктивной эксплуатации системы.
Мы убеждены, что такое инновационное решение чрезвычайно важно для предиктивного обслуживания TATLIN, и будем продолжать исследования в этой области. В конце 2019 года мы планируем опубликовать научные работы и получить патенты, связанные с этим исследованием.