Как DataForge дополняет Medallion Architecture на Gold и Platinum слоях

16.12.2025

Medallion Architecture за последние годы стала одной из наиболее распространённых методологий проектирования хранилищ данных и аналитических платформ. Её основной вклад — структурирование уровней обработки данных в независимые, чётко разграниченные зоны: Bronze, Silver, Gold и иногда Platinum. Каждый слой выполняет свою специфическую задачу.

Bronze хранит данные «как есть».
Silver приводит их к чистому, согласованному состоянию.
Gold преобразует в аналитически удобные формы.
Platinum опирается на Gold и служит источником для персонализированных витрин, AI моделей, BI-дэшбордов и продвинутых бизнес-приложений.

Когда специалист впервые знакомится с Medallion Architecture, он может подумать, что достаточно правильно построить нижние слои, и Gold/Platinum автоматически будут «правильными». Но по мере работы выясняется, что именно на верхних уровнях происходит самое большое количество смысловых трансформаций данных — и именно там скрыты ключевые риски несогласованной аналитики.

Чтобы успешно построить Gold/Platinum слои, мало очистить данные или привести их к единым схемам.
Нужно:

• описать бизнес-показатели и измерения,
• создать бизнес-ориентированные модели данных,
• обеспечить консистентность расчётов,
• управлять версиями логики,
• объяснить пользователям, что означают метрики,
• обеспечить проверяемость и прозрачность,
• построить витрины, пригодные для BI, AI, ML.

Эти задачи не решаются ни на Bronze, ни на Silver. И не решаются автоматически в BI.
Здесь и появляется роль DataForge — инструмента, который помогает формировать и поддерживать Gold/Platinum слои как управляемые, воспроизводимые и полностью документированные структуры.

Эта статья — методологическое объяснение того, как DataForge вписывается в Medallion Architecture, какие задачи он закрывает и почему именно Gold/Platinum слои требуют зрелого семантического уровня.

 

1. Напоминание: что такое Medallion Architecture и какие задачи решает каждый слой

Чтобы правильно понимать, почему DataForge полезен именно на Gold/Platinum, разберём уровни Medallion Architecture подробно.

1.1. Bronze — слой сырья (Raw Layer)

Это самый нижний слой, который хранит данные в максимально приближенном к источнику виде:

• логи,
• выгрузки из систем,
• файлы,
• события,
• транзакции.

Основные характеристики:

• данные непроверенные, «как есть»;
• могут быть пропуски, дубликаты, неконсистентные значения;
• структура может меняться вместе с изменениями в источниках;
• формат хранения произвольный.

Основные задачи Bronze:

• сохранить первичные данные,
• обеспечить ретроспективный анализ,
• защитить от потерь данных,
• предоставить неизменяемую историю.

Самое главное: на Bronze нет бизнес-логики. Там нет показателей, измерений, витрин, формул. Bronze — это просто фундамент.

1.2. Silver — слой очищенных данных (Cleansed Layer)

На Silver данные уже:

• очищены,
• нормализованы,
• приведены к единым типам,
• обогащены справочниками,
• дедуплицированы,
• структурированы.

Задачи Silver:

• унифицировать данные,
• подготовить их к аналитике,
• обеспечить связность между доменами,
• формировать согласованные таблицы.

Silver может включать:

• нормализованную модель (3NF),
• Data Vault,
• таблицы события,
• таблицы атрибутов.

Но на Silver всё ещё нет бизнес-логики. Silver знает про структуру данных, но не про показатели.

1.3. Gold — слой бизнес-агрегаций (Business Layer, Data Marts)

На Gold данные становятся бизнес-ориентированными.
Здесь появляются:

• показатели,
• измерения,
• факт-таблицы,
• агрегаты,
• предсозданные витрины.

Gold отвечает за:

• удобство использования данных в BI;
• ускорение аналитических запросов;
• аккумулирование бизнес-правил;
• фиксацию логики расчёта KPI.

На Gold происходит первый серьёзный семантический сдвиг: данные приобретают смысл.
Например, «Доход» уже не просто поле в таблице Silver, а показатель с определённой методикой расчёта.

1.4. Platinum — слой прикладных витрин (Presentation Layer / Gold++)

Platinum может включать:

• персонализированные витрины,
• витрины для конкретных подразделений,
• витрины под AI-модели,
• витрины под ML-алгоритмы,
• витрины под внешние сервисы.

Gold — это «универсальная» бизнес-структура,
Platinum — это «конкретизированные» витрины для задач:

• конкретного клиента,
• конкретного BI-инструмента,
• конкретного продукта,
• конкретной модели.

На Platinum уровень бизнес-логики ещё выше, чем на Gold.

 

2. Почему Gold/Platinum слои требуют отдельного подхода

2.1. На этих слоях возникают смысловые преобразования

Ni Bronze, ни Silver не включают смысловые расчёты.
А Gold и Platinum — включают.

Именно здесь формируется:

• выручка,
• маржинальность,
• конверсия,
• LTV,
• ROI маркетинговых кампаний,
• KPI продаж,
• KPI логистики.

Показатели — это не просто SQL.
Это отражение бизнес-правил.

2.2. На этих слоях компании чаще всего теряют консистентность

Причина проста: почти каждая команда интерпретирует показатели по-своему.

Типичный сценарий:

• BI делает витрину под отчёт для коммерции.
• Дата-инженеры делают другую витрину под финансы.
• Аналитики маркетинга считают свои метрики из Silver.
• Аналитики продаж используют Excel с выгрузкой из ERP.

Gold/Platinum — это точка, где всё должно быть унифицировано.
Но без инструментов это сложно обеспечить.

2.3. На этих слоях требуется документирование логики

Если логика расчёта KPI не описана формально:

• метрики расходятся,
• отчёты показывают разное,
• пользователи теряют доверие.

Gold/Platinum должны быть прозрачными.

2.4. На этих слоях нагрузка возрастает

Gold/Platinum — это:

• агрегаты,
• большие витрины,
• соединения по сложным ключам,
• расчётные поля,
• историческая логика,
• версии метрик.

Это гораздо более ресурсозатратные операции, чем просто «почистить и нормализовать данные».

2.5. На этих слоях BI и DWH должны работать вместе

Важно понимать одну ключевую мысль:

BI не создаёт смыслов, BI только показывает результаты вычислений.

А Gold/Platinum — как раз создают смысловые сущности.

И эти слои должны быть:

• связаны с бизнес-определениями,
• формализованы,
• документированы,
• версионированы,
• проверены.

 

3. Роль DataForge на Gold/Platinum слоях

Теперь можно перейти к тому, как DataForge дополняет Medallion Architecture.

DataForge — это инструмент для:

• описания бизнес-показателей и измерений,
• построения бизнес-моделей Data Mart,
• генерации SQL-витрин,
• тестирования корректности расчётов,
• поддержания версионности логики,
• документирования бизнес-смыслов,
• контроля консистентности.

DataForge не заменяет ни Bronze, ни Silver — эти слои остаются в зонах ответственности ETL/ELT, DWH-разработчиков и процессоров данных.

DataForge «живет» именно на Gold/Platinum уровнях и формирует:

• Semantic Layer,
• Business Data Marts,
• Presentation Models,
• BI-ready Data Structures.

 

4. Как DataForge автоматически формирует Data Mart на Gold слое

Рассмотрим подробно, какие этапы типового DM DataForge берёт на себя.

4.1. Описание метрик и измерений

Пользователи (аналитики, архитекторы, бизнес):

• создают показатели и измерения,
• описывают их смысл,
• указывают правила расчёта,
• связывают с источниками,
• формируют группы и блоки.

DataForge превращает всё это в структурированный semantic graph.

4.2. Привязка к Silver таблицам и физическим данным

У каждой метрики:

• есть источник,
• есть конкретные поля,
• есть фильтры,
• есть ограничения.

На Gold слой DataForge переносит только корректные связки.

4.3. Построение модели Data Mart в drag-and-drop режиме

Архитектор создаёт:

• факт-таблицы,
• измерения,
• связи,
• составные ключи,
• вычисляемые поля.

Но вручную писать SQL не требуется — DataForge собирает структуру автоматически.

4.4. Генерация SQL-кода

DataForge на основании:

• семантики,
• бизнес-моделей,
• описаний полей,

формирует SQL:

• join-ы,
• агрегаты,
• window-функции,
• фильтры,
• версии измерений,
• историзацию,
• корректировки.

Это особенно полезно при работе с:

• витринами продаж,
• витринами маркетинга,
• витринами логистики,
• MDM-слоями,
• витринами клиентов.

4.5. Обновление витрин через API

DataForge может:

• экспортировать модели,
• выгружать SQL,
• обновлять витрины,
• сравнивать версии,
• показывать изменения.

API позволяет автоматизировать доставку DM на DWH.

 

5. Как DataForge помогает на Platinum слое

Platinum — это надстройка над Gold.
На нём формируются:

• витрины под конкретные отчёты,
• AI-ready витрины,
• ML-feature store,
• кастомные модели аналитики.

DataForge приносит в Platinum следующие возможности:

5.1. Персонализированные модели

Для каждого подразделения можно создать отдельную Platinum-витрину:

• финансы,
• маркетинг,
• e-commerce,
• склады,
• логистика,
• производство.

Но все витрины базируются на единой семантике Gold.

5.2. Автоматическое обновление витрин при изменениях семантики

Изменили показатель на Gold?
DataForge:

• перестроит зависимые витрины,
• обновит SQL,
• покажет изменения.

5.3. Проверка корректности расчётов BI-слоя

Platinum обычно является источником BI.

DataForge:

• сверяет значения,
• проверяет агрегаты,
• ищет несогласованности,
• подсвечивает расхождения.

5.4. Формирование витрин под модели AI и ML

AI-модель требует:

• стабильных признаков,
• прозрачных источников,
• корректных агрегаций,
• управляемой семантики.

DataForge формирует «Semantic Feature Store».

 

6. Кейсы

Кейс 1. Розничная сеть: создание витрины продаж на Gold

До внедрения семантического слоя:

• финансы считали «валовую прибыль» по одному алгоритму,
• коммерция — по другому,
• BI-отчёты показывали разные цифры.

DataForge:

• формализовал показатель,
• создал единую витрину,
• генерировал SQL,
• обеспечил versioning.

После этого:

• отчёты стали совпадать,
• согласование ушло в прошлое,
• BI-разработчики перестали переписывать формулы вручную.

Кейс 2. Логистика: Platinum-витрина под KPI логистического направления

Проблематика:

логистика использует собственные KPI:

• SLA поставок,
• скорость обработок,
• точность маршрутизации.

DataForge:

• создал Platinum-модель на основе Gold-слоя,
• описал KPI,
• сформировал витрину под BI,
• автоматизировал обновление.

Результат:

• чёткое понимание KPI,
• стабильные отчёты,
• прозрачная методология для руководства.

Кейс 3. AI-модель прогнозирования спроса

AI-модель требовала:

• десятки признаков,
• созданных вручную аналитиками,
• что приводило к ошибкам.

DataForge:

• формализовал признаки,
• сформировал стабильный feature-store,
• предоставил API для выгрузки.

Модель стала работать стабильно.

 

7. Риски на Gold/Platinum слоях и способы управления ими

7.1. Несогласованность логики расчётов

Риск:
на разных витринах одна и та же метрика может рассчитываться по-разному.

Как управлять:

• централизованный semantic layer,
• versioning,
• lineage.

7.2. Неконтролируемый рост витрин

Риск:
каждый департамент создаёт свои таблицы.

Как управлять:

• единый реестр витрин,
• правила именования,
• фиксирование связей с семантикой.

7.3. Рост нагрузки на DWH

Риск:
сложные агрегаты перегружают вычисления.

Как управлять:

• оптимизированный SQL,
• предагрегированные витрины,
• правильный расчёт периодичности обновлений.

7.4. Потеря смысла в BI

Риск:
отчёты показывают числа, но никто не может объяснить, откуда они.

Как управлять:

• описание показателей,
• связь с источниками,
• прозрачный semantic graph.

 

8. Вопрос–ответ

Зачем нужен отдельный инструмент на Gold/Platinum?

Потому что именно на этих слоях происходит смысловое преобразование данных, а не техническое.

Bronze/Silver отвечают за корректность и структуру.
Gold/Platinum — за смысл и бизнес-логику.

Почему BI не может выполнять роль Gold/Platinum?

BI работает с визуализацией.
Он не фиксирует:

• формулы,
• версии,
• источники,
• lineage,
• связи с DWH.

Может ли Gold быть построен без семантического слоя?

Может, но:

• появятся расхождения,
• возникнут дубли,
• снизится доверие к данным,
• BI-разработчики будут переписывать SQL бесконечно.

Как DataForge помогает при изменениях в бизнес-логике?

Меняется формула → DataForge обновляет:

• семантику,
• Data Mart,
• SQL-код,
• Platinum-витрины.

Можно ли интегрировать DataForge с AI?

Да.
AI получает смысловую информацию через API и может:

• генерировать SQL,
• строить отчёты,
• анализировать данные.

 

9. Заключение

Medallion Architecture помогает структурировать уровни данных.
Но Gold и Platinum — это не просто технические слои.
Это слои бизнес-логики, смысла и принятия решений.

DataForge дополняет Medallion Architecture, обеспечивая:

• формирование семантического слоя,
• построение Data Mart,
• автоматизацию создания витрин,
• управление версиями логики,
• связность между Silver → Gold → Platinum,
• основу для BI и AI.

В современном мире данных семантический слой становится необходимым элементом зрелой архитектуры.
DataForge — инструмент, который позволяет сделать Gold/Platinum управляемыми, воспроизводимыми и прозрачными не только для разработчиков, но и для бизнеса.

 

 

Вернуться к статьям

Вернуться на главную