Решение было найдено не в строительстве новых серверных, а в облаке. За период с августа 2022-го по второй квартал 2023 года предприятие развернуло мощную платформу данных в Yandex Cloud, превратив информацию из хаотичного набора цифр в стратегический актив.

Поэтапная цифровизация

Фундамент был заложен еще в 2019 году. Компания начала масштабную цифровизацию, внедрив комплекс систем SAP: S4/HANA для планирования ресурсов предприятия, HCM для управления персоналом, PP/DS для детального планирования производства и PM для технического обслуживания оборудования. Эти решения создали общее информационное пространство и сделали бизнес-процессы более прозрачными.

Однако данные из разных систем по-прежнему оставались разрозненными. Требовалось единое корпоративное хранилище, способное консолидировать информацию и обеспечить быструю аналитику.

Почему облако? Почему Yandex? Выбор в пользу облачной инфраструктуры был стратегическим. Развертывание ключевых компонентов и масштабирование мощностей происходит значительно быстрее, чем при построении традиционного ЦОДа, а на старте не нужно вкладывать значительные средства в администрирование.

При выборе провайдера существовал ряд обязательных критериев. Компании было критически важно, чтобы поставщик услуг размещал серверы на территории России и имел все необходимые сертификаты безопасности данных, включая соответствие требованиям 152-ФЗ и международному стандарту ISO/IEC 27001.

Этим условиям отвечал Yandex Cloud. Кроме того, ключевым аргументом стало наличие у провайдера полного стека управляемых сервисов - от виртуальных машин Compute Cloud до СУБД PostgreSQL и ClickHouse, а также собственной облачной BI-системы DataLens.

От пилота к производству

Август 2022 года - запуск пилотного проекта корпоративного хранилища данных. Первым делом на тестовых данных сформировали отчет по сдаче готовой продукции. Первый квартал 2023 года - данные в компании разделили по подразделениям, создав основу для структурированной аналитики. Второй квартал 2023 года - началось построение BI-отчетности для трех ключевых доменов: закупок, кадров и производства. Изначально в проекте участвовали эти три подразделения, теперь "Русполимет" тиражирует решение на все службы.

Предприятие развернуло мощную платформу данных в Yandex Cloud, превратив хаотичный набор данных в стратегический актив

Современная облачная платформа предприятия построена на принципе конвейерной обработки данных: Apache Airflow, развернутый на виртуальных машинах Compute Cloud, служит центральным оркестратором потоков данных. Дата-инженеры спроектировали с его помощью методы сбора, трансформации и транспортировки информации. Система собирает сырые данные из нескольких источников (включая системы SAP) и отправляет их в Object Storage - надежный цифровой склад сырья. В объектном хранилище также размещены дельты, что обеспечивает историчность данных. Из Object Storage данные поступают в кластер Yandex Managed Service for PostgreSQL, где реализован детальный слой DDS по схеме "снежинка". Эта архитектурная модель обеспечивает оптимальную структуру для аналитических запросов.

Для управления запросами и отслеживания происхождения данных используется фреймворк DBT (data build tool). С его помощью дата-инженеры трансформируют данные, делят детальный слой по сущностям и преобразовывают информацию в удобный формат. Подготовленные данные перемещаются в слой Data Mart - специализированные витрины данных, которые хранятся в кластере Managed Service for ClickHouse. Это обеспечивает высокую скорость выполнения аналитических запросов. Аналитики строят дашборды в DataLens на основе данных из витрин. Важное условие: отчеты запускаются в продакшн только после того, как данные описаны и учтены в каталоге данных Lottabyte.

Цифры, которые впечатляют

Созданная платформа демонстрирует впечатляющие характеристики: 250 таблиц общим объемом (из них 60 в продуктивном окружении), до 1,5 млрд записей, около 1 терабайта информации в тестовых и продуктивных окружениях и ежедневная загрузка данных в конце рабочего дня.

В каталоге Lottabyte аналитики и бизнес-эксперты ведут учет дата-активов, фиксируют показатели и метрики, описывают дата-продукты и ведут реестр проверок качества данных. Это решило важнейшую проблему - терминология в компании стала единой для всех служб. Создан специализированный отдел управления данными, который выполнил основные задачи проекта: создание платформы, разработку регламентов работы с данными, повышение качества решений и развитие дата-компетенций.

Безопасность превыше всего: гибридная модель и токенизация. Для металлургической компании безопасность данных - критически важный аспект. Очень важную информацию (цены, персональные данные) компания по-прежнему хранит on-premises. Однако для безопасной работы с конфиденциальными данными в облаке компания завершила пилотный проект по токенизации с решением Damask совместно с Yandex Cloud и партнером "БССГ". Это позволяет "замаскировать" чувствительную информацию, не теряя возможности ее анализа.

Результаты: от дней к секундам

Цифровая трансформация уже принесла результаты: это и кардинальное сокращение времени подготовки аналитических отчетов - с дней до секунд, и доступ в реальном времени к данным для руководителей направлений и топ-менеджеров, и единое информационное пространство для всех подразделений. Плюс растущая база знаний, ориентированная на самостоятельное построение отчетов сотрудниками.

Димитрий Волков, директор по цифровой трансформации АО "Русполимет", поясняет: "Вся инфраструктура платформы расположена в Yandex Cloud, это упрощает управление, повышает скорость работы и гарантирует надежность. В будущем мы планируем загружать в хранилище потоковые данные, например показатели оборудования. Компания также собирается строить ML-модели, например, для планирования ремонта оборудования и контроля качества выплавки".

Планируется также полное внедрение решения Damask в продуктивную среду для защиты конфиденциальных данных при хранении и дальнейшем анализе.

На данный момент компания развивает слои DDS и Data Mart, расширяет перечень аналитических продуктов, совершенствует архитектуру платформы и оптимизирует процесс загрузки данных. Опыт предприятия доказывает, что цифровая трансформация в металлургии - это не просто внедрение новых технологий. Это создание комплексной экосистемы управления данными, где информация становится таким же стратегическим ресурсом, как высококачественная сталь, и обрабатывается с той же тщательностью в современном цифровом тигле.

Подготовила Оксана Ильина, Нижний Новгород