CData SSIS Components を使用して Vimeo のデータを Databricks にマイグレーション
Databricks は、大量のデータを簡単に処理、分析、可視化できる統合データ分析プラットフォームです。データエンジニアリング、データサイエンス、機械学習の機能を単一のプラットフォームに統合し、チームがコラボレーションしてデータからインサイトを得ることを容易にします。
CData SSIS Components は、SQL Server Integration Services を拡張し、さまざまなソースやデスティネーションからデータを簡単にインポート・エクスポートできるようにします。
この記事では、Databricks へのエクスポート時のデータ型マッピングの考慮事項を確認し、CData SSIS Components for Vimeo と Databricks を使用してVimeo のデータを Databricks にマイグレーションする方法を説明します。
データ型マッピング
| Databricks スキーマ | CData スキーマ |
|---|---|
|
int, integer, int32 |
int |
|
smallint, short, int16 |
smallint |
|
double, float, real |
float |
|
date |
date |
|
datetime, timestamp |
datetime |
|
time, timespan |
time |
|
string, varchar |
長さ > 4000 の場合：nvarchar(max)、それ以外：nvarchar(length) |
|
long, int64, bigint |
bigint |
|
boolean, bool |
tinyint |
|
decimal, numeric |
decimal |
|
uuid |
nvarchar(length) |
|
binary, varbinary, longvarbinary |
binary(1000) または SQL Server 2000 以降は varbinary(max) |
特別な考慮事項
- String/VARCHAR: Databricks の String カラムは、カラムの長さによって異なるデータ型にマッピングされます。カラムの長さが 4000 を超える場合、カラムは nvarchar(max) にマッピングされます。それ以外の場合は、nvarchar(length) にマッピングされます。
- DECIMAL: Databricks は最大 38 桁の精度の DECIMAL 型をサポートしていますが、それを超えるソースカラムはロードエラーを引き起こす可能性があります。
前提条件
- Visual Studio 2022
- Visual Studio 2022 用 SQL Server Integration Services Projects 拡張機能
- CData SSIS Components for Databricks
- CData SSIS Components for Vimeo
プロジェクトの作成とコンポーネントの追加
-
Visual Studio を開き、新しい Integration Services プロジェクトを作成します。
- Control Flow 画面に新しい Data Flow Task を追加し、Data Flow Task を開きます。
-
Data Flow Task に CData Vimeo Source コントロールと CData Databricks Destination コントロールを追加します。
Vimeo ソースの設定
以下の手順に従って、Vimeo への接続に必要なプロパティを指定します。
-
CData Vimeo Source をダブルクリックしてソースコンポーネントエディタを開き、新しい接続を追加します。
-
CData Vimeo Connection Manager で接続プロパティを設定し、接続をテストして保存します。
Vimeo はプロフェッショナル向けの動画ホスティングプラットフォームです。Vimeo API は、動画メタデータ、ユーザー情報、チャンネル、グループ、カテゴリ、関連リソースへの安全なアクセスを可能にするために、パーソナルアクセストークン（Bearer トークン）を使用します。
API キー認証の設定
Vimeo API への認証には、パーソナルアクセストークンを指定する必要があります。アクセストークンを取得するには、以下のステップで進めます：
- https://vimeo.com で Vimeo アカウントにログインします
- https://developer.vimeo.com/apps に移動します
- 新しいアプリを作成するか、既存のアプリを選択します
- 「Personal Access Tokens」で「Generate」をクリックして新しいトークンを作成します
- 必要なスコープを選択します：読み取りアクセスには public と private
- 生成されたトークンをコピーします
アクセストークンを取得したら、以下の接続プロパティを設定します：
- AuthScheme：APIKey に設定します。
- APIKey：Vimeo のパーソナルアクセストークンに設定します。
接続文字列の例
Profile=C:\profiles\Vimeo.apip;ProfileSettings='APIKey=your_personal_access_token';
-
接続を保存後、「Table or view」を選択し、Databricks にエクスポートするテーブルまたはビューを選択して、CData Vimeo Source Editor を閉じます。
Databricks デスティネーションの設定
Vimeo Source を設定したら、Databricks 接続を設定してカラムをマッピングします。
-
CData Databricks Destination をダブルクリックしてデスティネーションコンポーネントエディタを開き、新しい接続を追加します。
-
CData Databricks Connection Manager で接続プロパティを設定し、接続をテストして保存します。Databricks クラスターに接続するには、以下のようにプロパティを設定します。
注意：必要な値は、Databricks インスタンスで Clusters に移動し、目的のクラスターを選択して、Advanced Options の下にある JDBC/ODBC タブを選択することで確認できます。
- Server：Databricks クラスターの Server Hostname を設定します。
- HTTPPath：Databricks クラスターの HTTP Path を設定します。
- Token：個人用アクセストークンを設定します（この値は、Databricks インスタンスの User Settings ページに移動し、Access Tokens タブを選択することで取得できます）。
その他の便利な接続プロパティ
- QueryPassthrough: True に設定すると、クエリは Databricks に直接渡されます。
- ConvertDateTimetoGMT: True に設定すると、コンポーネントはローカルマシンの時刻ではなく、日時値を GMT に変換します。
- UseUploadApi: このプロパティを true に設定すると、Bulk INSERT 操作で大量のデータがある場合にパフォーマンスが向上します。
- UseCloudFetch: このオプションは、テーブルに 100 万件を超えるエントリがある場合にクエリ効率を向上させるために CloudFetch を使用するかどうかを指定します。
-
接続を保存後、Use a Table メニューでテーブルを選択し、Action メニューで Insert を選択します。
-
Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。
プロジェクトの実行
これでプロジェクトを実行できます。SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。