Hướng dẫn sử dụng Open Metadata

1. Tạo Service

Bước 1. Truy cập Open Metadata, menu trái chọn Settings > Services > Databases, chọn Add New Service

Bước 2. Chọn Service Type Trino, ấn Next

Bước 3. Nhập thông tin

• Service name: tên service

• Description: mô tả service

Ấn Next

Bước 4. Nhập thông tin Connection Details

• Username: tên tài khoản

• Auth Configuration Type: chọn Basic Auth

• Host and Port: nhập thông tin kết nối Trino

• Catalog (optional): nhập chính xác catalog cần lấy thông tin. Nếu bỏ trống, hệ thống thực hiện lấy tất thông tin của tất cả các Catalog có qua Trino

• DatabaseSchemas (optional): nhập chính xác Schema cần lấy thông tin. Nếu bỏ trống, hệ thống thực hiện lấy tất thông tin của tất cả các Schema có qua Trino

Ấn Test connection để kiểm tra kết nối với Trino

Bước 5. Ấn Save để hoàn thành tạo Service

2. Cấu hình Pipeline

Thực hiện cấu hình Pipeline lấy dữ liệu từ Service vào Open Metadata

Bước 1: Tại màn hình danh sách Service vừa khởi tạo, chọn ấn xem chi tiết

Bước 2: Tại giao diện chi tiết Service, chọn tab Ingestion, ấn Add Ingestion > Add Metadata Ingestion

Bước 3. Tại giao diện Add Metadata Ingestion

• Name: Tên pipeline

• Database Filter Pattern

• Includes: nhập thông tin database sẽ lấy dữ liệu

• Exclude (optional): nhập thông tin database sẽ loại trừ lấy dữ liệu

• Schema Filter Pattern

• Includes: nhập thông tin schema sẽ lấy dữ liệu

• Exclude (optional): nhập thông tin schema sẽ loại trừ lấy dữ liệu

• Table Filter Pattern

• Includes: nhập thông tin table sẽ lấy dữ liệu

• Exclude (optional): nhập thông tin table sẽ loại trừ lấy dữ liệu

Ấn Next

• Chọn Schedule để thiết lập lịch tần suất Ingest dữ liệu

• Chọn On demand để chạy ingestion thủ công

• Number of retries: số lần thử lại nếu ingest lỗi

Ấn Add & Deploy, để hoàn thành thêm Ingestion và triển khai Job Ingestion

3. Chạy pipeline

Bước 1: Tại màn hình danh sách Service vừa khởi tạo, chọn ấn xem chi tiết

Bước 2: Tại giao diện chi tiết Service, chọn tab Ingestion

Bước 3: Tại pipeline vừa khởi tạo, ấn Action Run

Sau khi ấn Run, Job Ingestion được thực thi để lấy dữ liệu Metadata về hệ thống

Nếu Job Ingestion được lập lịch, các Pipeline sẽ được tự động thực thi theo thời gian đã thiết lập

4. Exlplore

Sau khi chạy các Ingestion, Explore dữ liệu tại Menu Explore

5. Tạo Testcase

Kiểm tra chất lượng dữ liệu

Bước 1. Từ giao diện Explore, chọn bảng cần tạo Testcase, ấn Add Test (Table để kiểm tra trên bảng, Column để kiểm tra trên cột)

Bước 2. Tạo Add Column Test

Ấn Submit để tạo Test

6. Tạo Pipeline Test

Bước 1. Từ giao diện Explore, tại bảng có Test case vừa tạo, chọn tab Pipeline, ấn Add

Bước 2. Nhập thông tin Scheduler for Test Cases

• Name: Tên lịch chạy test

• Chọn Schedule để lập lịch chạy định kỳ

• Chọn On Demand để chạy thủ công

• Chọn các testcase sẽ chạy trong pipeline

Ấn Submit để hoàn thành tạo lịch cho testcase

Sau khi pipeline test được chạy, hệ thống sẽ tiến hành kiểm tra dữ liệu theo testcase đã cấu hình và trả về kết quả theo bảng và theo tổng quan cả hệ thống