DSEDataSourceExplorer
DSE 1.0.1

Руководство пользователя

Это подробное руководство по полному рабочему сценарию Data Source Explorer (DSE).

Используйте его как единую справку по следующим задачам:

1. Назначение приложения

DSE — это настольное приложение для операторов и инженеров, которое позволяет находить источники данных, изучать их структуру, подготавливать определения извлечения или маппинга и генерировать повторно используемые выходные артефакты.

Обычный рабочий поток выглядит так:

  1. выбрать цель и запустить Discover
  2. просмотреть дерево найденных источников
  3. проверить или изменить параметры подключения
  4. протестировать соединение
  5. загрузить таблицы / коллекции / buckets / другие объекты
  6. изучить структуру объекта и предпросмотр данных
  7. сформировать полезный Schema Catalog / Data Catalog
  8. настроить output targets, если нужны описанные объекты назначения
  9. сгенерировать deployables для одной или нескольких сред выполнения
  10. проверить созданные файлы и при необходимости построить графическую схему

2. Структура главного окна

Верхняя командная область

Здесь можно:

Левое дерево навигации

Слева отображается обнаруженная среда. В зависимости от контекста вы можете увидеть:

Правая рабочая область

Справа отображаются:

3. Начало работы

  1. Запустите приложение.
  2. При необходимости выберите язык интерфейса.
  3. В поле цели укажите машину, хост, среду или путь обнаружения.
  4. Выберите тип обнаружения, если доступно несколько режимов.
  5. Нажмите Discover.

Практический совет

4. Обнаружение и исследование источников

После завершения обнаружения внимательно просмотрите левое дерево.

На что обращать внимание:

Рекомендуемый порядок

  1. раскрывайте дерево постепенно
  2. выберите интересующий источник
  3. просмотрите сводку справа
  4. решите, нужно ли открыть детали, изменить подключение, удалить scope или переходить к загрузке объектов

5. Детали и изменение подключения

Для выбранного источника DSE может показывать действия:

Open details

Используйте для просмотра технической информации по выбранному узлу/подключению в режиме чтения.

Edit connection

Используйте, если:

Рекомендуемая последовательность:

  1. изменяйте только нужные поля
  2. сохраните изменения
  3. сразу выполните Test connection
  4. после успешной проверки переходите к загрузке объектов или генерации

6. Тестирование соединения

Используйте Test connection перед любыми важными действиями.

Хороший тест подтверждает, что:

Если тест не проходит:

7. Загрузка объектов и просмотр структуры

После успешного теста нажмите Load tables или аналогичную команду.

В зависимости от типа источника могут загрузиться:

Как анализировать объекты

  1. выберите объект в списке
  2. просмотрите Table info или аналогичную вкладку
  3. откройте Preview для просмотра примеров строк/документов
  4. используйте Row details для детального просмотра конкретной записи
  5. просматривайте Catalog Schema и Data Catalog, если хотите превратить структуру в повторно используемое описание

8. Формирование Schema Catalog и Data Catalog

Schema Catalog

Используйте эту область, чтобы определить структурный набор объектов источника, которые важны для извлечения или последующего развертывания.

Data Catalog

Используйте эту область, чтобы обогатить или проверить выбранные поля и объекты с более прикладной, пользовательской точки зрения.

Хорошая практика

9. Генерация Output Data напрямую

Используйте Output Data, когда нужно получить файлы данных на основе выбранного каталога.

Это полезно для:

Обычные типы выходных файлов:

Перед крупным запуском:

10. Настройка output targets

Используйте Compose targets, когда нужен маппинг на целевую структуру, а не просто просмотр исходника.

Обычно вы работаете с тремя уровнями:

  1. доступные исходные строки/поля слева
  2. одна или несколько целевых сущностей по центру
  3. целевые объекты и mappings справа

Типовой процесс

  1. создайте целевой target
  2. выберите preset или тип целевой системы
  3. создайте один или несколько target objects
  4. выберите исходные строки/поля
  5. добавьте их в выбранный target object
  6. проверьте таблицу mappings
  7. исправьте предупреждения валидации
  8. сохраните target definition

Советы по валидации

Исправьте до сохранения:

11. Генерация deployables

Используйте Generate deployables, чтобы создать portable runner или связанные артефакты на основе каталога и/или сохранённых targets.

Режимы входа

DSE поддерживает два основных сценария:

Если включён режим сохранённых targets, можно добавлять targets из выпадающего списка, формировать multi-target набор, переключаться между chips и удалять targets из текущего задания.

Раздел Destination instance

Здесь задаётся, как deployable будет подключаться к целевой системе или интерпретировать target definition.

Проверьте такие поля, как:

Платформы и runtimes

Выберите одну или несколько платформ, затем один или несколько совместимых runtime identifiers.

Output options

Выберите, какие файлы будет выпускать runner, например:

Также проверьте:

Панель readiness

Перед генерацией прочитайте секцию preflight/readiness.

Она должна подсказать, отсутствуют ли:

Генерация

Когда конфигурация готова:

  1. проверьте выбранные targets и chips
  2. проверьте destination values
  3. проверьте платформы, runtimes, форматы и папку
  4. нажмите Generate

12. Сохранение конфигурации задания

При выходе со страницы Generate deployables приложение может спросить, сохранять ли конфигурацию job.

Если согласиться

При следующем открытии могут восстановиться:

Если отказаться

Временная конфигурация будет очищена.

13. Просмотр созданных deployables

После генерации DSE показывает область итогов по deployables.

Её можно использовать, чтобы:

14. Анализ результатов выполнения

Окно результатов — это основная поверхность послезапусковой проверки.

Оно обычно показывает:

Рекомендуемый порядок проверки

  1. откройте окно результатов
  2. выберите каждый файл хотя бы один раз
  3. просмотрите вкладки листов или текст
  4. проверьте количество строк и имена колонок
  5. при необходимости откройте физический файл отдельно

15. Генерация графической схемы

В окне результатов используйте Generate schema, чтобы построить визуальный граф выполнения.

Граф может связывать:

Это полезно для:

Во время построения индикатор прогресса должен показывать, что операция выполняется.

Save graph

Используйте Save graph, чтобы экспортировать схему в поддерживаемый формат, например:

16. Workspaces

Используйте меню Workspace для управления повторно используемыми сессиями.

Типичные действия:

Рекомендация

17. Plugins, Logs и Help

Plugins

Откройте Plugins, чтобы проверить доступные провайдеры/расширения. Если нужный тип источника отсутствует или ведёт себя необычно, сначала проверьте состояние плагина.

Logs

Открывайте Logs, когда нужны технические детали по discovery, connection, generation или runtime-проблемам.

Help

Открывайте Help для поиска по документации. Нажимайте F1 для контекстной помощи.

18. Рекомендуемая последовательность для чистого рабочего запуска

  1. откройте или создайте workspace
  2. выполните discovery нужного периметра
  3. выберите источник и просмотрите его детали
  4. при необходимости измените connection
  5. выполните test connection
  6. загрузите objects
  7. просмотрите preview и структуру
  8. сформируйте каталог
  9. настройте targets, если требуется явный mapping назначения
  10. откройте generate deployables
  11. выберите saved targets или catalog input
  12. перепроверьте destination settings, platforms, runtimes, formats и folder
  13. выполните генерацию
  14. откройте summary, затем results
  15. проверьте файлы и preview
  16. при необходимости постройте и сохраните graphical schema
  17. сохраните workspace

19. Контрольный список по устранению проблем

Discovery находит слишком много или слишком мало

Test connection не проходит

Объекты не появляются после загрузки

Генерация deployables заблокирована

Результаты выглядят неполными

20. Итоговые рекомендации

Для наиболее надёжной работы:

← НазадДалее →