Происхождение на уровне таблиц говорит вам, что дашборд касается таблицы. Происхождение на уровне столбцов говорит, какие дашборды сломаются, если вы удалите столбец. Вот в чём разница, почему последний переход труден и как читать карту, не утонув в ней.
Обновлено · 5 мин чтения
Столбец вот-вот удалят, сменят ему тип или переименуют. В этот момент два вопроса звучат одинаково. Первый: какие дашборды касаются этой таблицы. Второй: какие дашборды сломаются.
Происхождение на уровне таблиц отвечает на первый. На широкой таблице оно вернёт сорок дашбордов. Два из них используют столбец, и теперь кому-то придётся открыть сорок рабочих книг, чтобы найти эти два. Отчёт верен и почти бесполезен.
Происхождение на уровне столбцов отвечает на второй, и именно поэтому дополнительная работа по достижению этой гранулярности того стоит.
Каждый переход пересекает границу системы. У каждой системы своё представление о том, что такое имя. Именно там живёт проблема, а не в рисовании графа.
Здесь возникают две проблемы. Обе найдены при исследовании живых хранилищ, а не при чтении о них.
Тихий ноль это худший сбой в происхождении данных. Пустой результат выглядит ровно как чистый ответ. Связь, которая подключена, настроена правильно и ничему не соответствует, читается как среда без каких-либо зависимостей.
Решение в том, чтобы нормализовать перед каждым запросом к хранилищу, а не в конце. Сегменты Snowflake без кавычек приводятся к верхнему регистру. Имена Databricks освобождаются от кавычек и приводятся к нижнему регистру прямо в SQL. Полное имя разбивается на сегменты, а не разбирается поиском по строке.
Четвёртый заслуживает пристального взгляда, и продукт его даёт. Мост, сопоставленный по имени, помечается как сопоставленный и никогда не показывается как данные каталога. Догадка, помеченная как догадка, полезна. Догадка, тихо возведённая в факт, портит всю карту, включая те части, которые были верны.
Карта происхождения должна сообщать, какой гранулярности она достигла, и называть то, что её дополнило. Каталог может ответить на уровне таблиц. Списки столбцов, полученные из хранилища, затем завершают работу, и карта говорит ровно это.
Это звучит как мелочь из области хороших манер. На деле это разрыв между картой, по которой можно принимать решения, и картой, которую нужно проверять вручную. Карта, которая всегда заявляет гранулярность столбцов, время от времени будет ошибаться и никогда не скажет, когда именно.
Полный граф реальной среды на уровне столбцов трудно прочитать целиком. Тысячи узлов это не карта. Это текстура.
Первая загрузка показывает костяк на уровне таблиц. Нажмите на одну карточку, и откроется только её собственная гранулярность: её столбцы и поля, которые из них вытекают. Это один переход, а не всё замыкание. Затем компоновка подстраивается, чтобы открытое оказалось в поле зрения.
Такое поведение родилось из двух раундов реального использования, в обе стороны. Сначала попробовали показывать всё, и это было непригодно. Ответом оказалось локальное раскрытие, а не уменьшенный граф: другая идея, и лучшая.
Об экспорте стоит знать. Разговоры об управлении ведутся с людьми, у которых нет логина и которые его не получат. Файл, который они могут открыть, лучше приглашения, которое они не примут.
Семантический слой даёт метрике один дом. Каждый инструмент, который вычисляет метрику, читает этот единственный дом. Все получают одно и то же число. Вот что это значит на практике и что меняется, когда у вас больше одного хранилища.
Управлением называют четыре вещи: сертификацию, владение, устаревший контент и контроль изменений. Здесь каждая из них записана как проверка, которую можно запустить, а не как цель, которую можно провозгласить. Речь также пойдёт о том единственном изменении, которое проходит визуальную проверку и всё равно ошибочно.
Утверждение это предложение. Доказательство это то, что второй человек может проверить, не спрашивая вас. Что должен содержать аудиторский след, что на самом деле доказывает хеш, и чего требовать от любого инструмента, который заявляет, что его создаёт.