PostgreSQL Sink Connector

*Tạo connector, Type là sink, Database là PostgreSQL

Pre-condition: Status CDC service healthy

Cấu hình PostgreSQL - Cấp quyền trên schema

GRANT USAGE ON SCHEMA public TO username;
 GRANT CREATE ON SCHEMA public TO username;

Bước 1: Tại thanh menu chọn Data Platform > chọn Workspace Management > chọn Workspace name

Bước 2: Tại phần My services chọn CDC service

Bước 3: Tại màn detail CDC service > Chọn tab Connectors > nhấn Create a connector

Bước 4: Nhập các thông tin màn Connector Information:

Chú ý: Tên connector có thể chứa các kí tự chữ cái thường a-z hoặc các kí tự số 0-9. Đặc biệt không dùng dấu cách có thể thay dấu cách bằng dấu “-”.

Bước 5. Nhấn Next để chuyển qua màn Properties

Nhập thông tin màn Properties

Trường hợp chọn Manual configuration - Điền các thông tin:
Database name (required): chọn database
Host Name (required): Hostname hoặc IP của PostgreSQL
Port ( required): PostgreSQL server port, mặc định là: 5432.
Database name (required): Database đích mà Connector sẽ sink dữ liệu vào
Username (required): Username sử dụng bởi Connector
Password (required): Password sử dụng bởi Connector
Nhấn vào dấu (+) để lấy danh sách các topics Connector sẽ consume và sink dữ liệu vào database đích, và được ngăn cách bởi dấu ","

Chú ý: Giới hạn chỉ lấy tối đa 100 topic

Trường hợp chọn From Database Engine - Điền các thông tin:
Host Name (required): Hostname hoặc IP của PostgreSQL
Port (required): PostgreSQL server port, mặc định là: 5432.
Database name (required): Database đích mà Connector sẽ sink dữ liệu vào
Username (required): Username sử dụng bởi Connector
Password (required): Password sử dụng bởi Connector
Nhấn vào dấu (+) để lấy danh sách các topics Connector sẽ consume và sink dữ liệu vào database đích, và được ngăn cách bởi dấu ","

Chú ý: Giới hạn chỉ lấy tối đa 100 topic

Nhấn Test connection để kiểm tra kết nối từ Workspace tới Database đã nhập
Converter
Converter key: chọn giá trị key cho converter
Converter key schema enable: chọn giá trị có/không sử dụng schema trong Converter key
Converter value: chọn giá trị value cho converter
Converter value schema enable: chọn giá trị có/không sử dụng schema trong Converter value

Bước 6: Nhấn Next để chuyển qua màn Additional Properties

Nhập các thông tin sau:

Chú ý: tích chọn Enable filter error để lọc những table name đang lỗi

Bước 7. Nhấn Next để chuyển qua màn Review

Bước 8: Kiểm tra thông tin và nhấn nút Create để hoàn thành việc tạo connector.