Bitbucket のデータ を Microsoft Fabric の OneLake に自動で継続的にレプリケーションする方法

常時稼働のアプリケーションには、自動フェイルオーバー機能とリアルタイムのデータアクセスが欠かせません。CData Sync を使えば、Microsoft Fabric の OneLake インスタンスにBitbucket のデータをリアルタイムで統合できます。すべてのデータを1カ所に集約し、アーカイブ、レポーティング、分析、機械学習、AI などさまざまな用途に活用できます。

OneLake を同期先として設定する

CData Sync を使って、Bitbucket のデータ を OneLake にレプリケーションできます。同期先を追加するには、接続タブに移動します。

1. 接続の追加をクリックします。
2. 同期先タブをクリックし、Azure OneLake コネクタを探します。
3. 該当行の末尾にある接続の設定アイコンをクリックして、新しい接続ページを開きます。接続の設定アイコンが表示されていない場合は、コネクタのダウンロードアイコンをクリックして OneLake コネクタをインストールします。新しいコネクタのインストールについて詳しくは、ヘルプドキュメントの「接続」セクションをご覧ください。
4. コネクタが追加されたら、設定の基本タブで以下の接続プロパティを入力して OneLake に接続します：
   • 接続名：任意の接続名を入力します。
   • File Format：使用するファイル形式を選択します。Sync は CSV、PARQUET、AVRO ファイル形式をサポートしています。
   • URI：ファイルを含むファイルシステムとフォルダのパスを入力します（例：onelake://Workspace/Test.LakeHouse/Files/CustomFolder）。
   • Auth Scheme：Microsoft Entra ID ユーザーアカウントで接続する場合は、Auth Scheme にAzure ADを選択します。CData Sync には組み込みの OAuth アプリケーションが用意されているため、追加のプロパティ設定は不要です。
   • Data Model：選択したファイル形式のドキュメントを解析し、データベースメタデータを生成する際に使用するデータ形式を指定します。
   • CData Sync をホスティングしている場合（ローカルまたは独自のクラウド）：
     • Use CData CallbackURL：トグルを無効にします。
     • Callback URL：コールバック URL を入力します。
   • CData Sync Cloud を使用している場合は、Use CData CallbackURLトグルを有効のままにしてください。
   
5. 詳細タブに移動し、その他セクションまでスクロールします。
6. Include Filesに、最初に選択したファイル形式を入力します。
7. Insert ModeドロップダウンからCreateを選択します。その他の Insert Mode オプションにはOverwriteとBatchがあります。
8. 基本設定に戻り、Azure OneLake に接続をクリックします。
9. 接続が確立されたら、作成およびテストをクリックして接続を保存します。

これで OneLake に接続され、データソースとしても同期先としても使用できるようになりました。

NOTE：ラベル機能を使って、データソースや同期先にラベルを追加できます。

この記事では、Bitbucket のデータ を OneLake にロードし、同期先として活用する方法をご紹介します。

Bitbucket への接続を設定する

Bitbucket への接続は、接続タブから設定できます。Bitbucket アカウントへの接続を追加するには、接続タブに移動します。

1. 接続の追加をクリックします。
2. データソース（Bitbucket）を選択します。
3. 接続プロパティを設定します。
   
   

   ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。

   Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。

   • Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
   • Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。

   Bitbucketでの認証

   BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。

   特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。

   カスタムOAuthアプリケーションの作成

   Bitbucketアカウントから、以下のステップを実行します。

   1. 設定（歯車アイコン）に移動し、ワークスペース設定を選択します。
   2. アプリと機能セクションで、OAuthコンシューマーを選択します。
   3. コンシューマーを追加をクリックします。
   4. カスタムアプリケーションの名前と説明を入力します。
   5. コールバックURLを設定します。
      • デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
      • Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
   6. クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
   7. OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
   8. 新しいカスタムアプリケーションを保存するには、保存をクリックします。
   9. アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。
   
4. Bitbucket に接続をクリックして、接続が正しく設定されていることを確認します。
5. 作成およびテストをクリックして変更を保存します。

レプリケーションクエリの設定

CData Sync では、ポイント＆クリック操作と SQL クエリの両方でレプリケーションを制御できます。レプリケーションを設定するには、ジョブタブに移動し、ジョブを追加をクリックします。レプリケーションのデータソースと同期先を選択します。

ジョブの編集

1. ジョブの詳細タブで、レプリケーションオプションの編集をクリックし、Insert ModeをSingle Fileに設定します（OneLake コネクタで Insert Mode を「Create」に設定した場合）。
2. 「Batch」モードの場合は、ジョブの Insert Mode をFile Per Batchに設定する必要があります。
3. 「Overwrite」モードの場合は、Single FileとFile Per Batchのどちらも使用できます。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、ジョブのタスクタブでタスクを追加をクリックし、OneLake にレプリケーションしたい Bitbucket テーブルをリストから選択して、再度タスクを追加をクリックします。

レプリケーションのカスタマイズ

タスクのカラムタブとクエリタブを使って、レプリケーションをカスタマイズできます。カラムタブでは、レプリケーションするカラムの指定、同期先でのカラム名の変更、レプリケーション前のデータ操作などが可能です。クエリタブでは、SQL クエリを使ってフィルタ、グループ化、ソートを追加できます。

レプリケーションのスケジュール

ジョブの概要タブを選択し、スケジュールの下にある設定をクリックします。10分ごとから月1回まで、指定した間隔でジョブを自動実行するようにスケジュールできます。

レプリケーションジョブを設定したら、変更を保存をクリックします。Bitbucket のデータ から OneLake へのレプリケーションを管理するジョブをいくつでも設定できます。

レプリケーションジョブの実行

ジョブに必要なすべての設定が完了したら、レプリケーションしたい Bitbucket テーブルを選択し、実行をクリックします。レプリケーションが正常に完了すると、ジョブの実行時間とレプリケーションされた行数を示す通知が表示されます。

無料トライアル & 詳細情報

Bitbucket のデータ を OneLake にレプリケーションする方法をご覧いただきました。CData Sync ページで詳細をご確認いただき、30日間の無料トライアルをダウンロードして、エンタープライズデータの統合を始めましょう。

ご不明な点がございましたら、サポートチームがいつでもお手伝いいたします。