【ノーコード】複数のHugging Face アカウントのデータを簡単レプリケーション

CData Sync は、いろいろなシナリオのデータレプリケーション（同期）を行うことができるスタンドアロンのアプリケーションです。例えば、sandbox および本番インスタンスのデータをデータベースに同期することができます。CData Sync のウェブインターフェースは複数のHugging Face コネクションを簡単に管理できます。本記事では、複数のHugging Face アカウントを一つのデータベースに同期する方法を説明します。

レプリケーションの同期先を設定

CData Sync では、Hugging Face のデータ を何台のデータベースにでも複製できます。データベースはクラウドおよびオンプレミスの双方に対応しています。レプリケーションの同期先の設定には、［接続］タブから行います。

1. ［同期先］タブを選択します。
2. 同期先のアイコンをクリックします。本記事では、SQLite を使います。
3. 必要な接続プロパティを入力します。Hugging Face をSQLite に複製するには、データソースボックスにファイルパスを指定します。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Hugging Face 接続の設定

データソース側にHugging Face を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. Hugging Face アイコンをデータソースとして選択します。プリインストールされたソースにHugging Face がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   HuggingFace Hub は、API へのアクセスを可能にするためにトークンベースの認証を使用します。この API では、HuggingFace Hub プラットフォーム上の機械学習モデル、データセット、スペース、論文、その他のリソースにアクセスできます。

   API キー認証の設定

   HuggingFace Hub への認証には、API Key（アクセストークン）を指定する必要があります。アクセストークンを取得するには、以下のステップで進めます：

   1. https://huggingface.co で HuggingFace アカウントにログインします
   2. Settings > Access Tokens に移動します
   3. 「New token」をクリックして新しいアクセストークンを作成します
   4. 適切な権限（read または write）を選択します
   5. トークンの値をコピーします

   アクセストークンを取得したら、以下の接続プロパティを設定します：

   • AuthScheme：APIKey に設定します。
   • APIKey：HuggingFace のアクセストークンに設定します。

   接続文字列の例

   Profile=C:\profiles\HuggingFace.apip;ProfileSettings='APIKey=hf_xxxxxxxxxxxxxxxxxxxx';
   

   
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

それぞれのHugging Face インスタンスのレプリケーションクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。.

テーブルをカスタマイズしてレプリケーションする

SQL クエリを使って、レプリケーションをカスタマイズできます。REPLICATE 構文はデータベースのテーブルにデータをキャッシュし、保存するハイレベルコマンドです。Hugging Face API がサポートするSELECT クエリを定義することができます。レプリケーションのカスタマイズにはテーブルセクションで［カスタムクエリの追加］をクリックして、クエリステートメントを記述します。

Hugging Face のデータ のテーブルを差分更新でキャッシュするステートメントは次のとおり:

REPLICATE Collections;

使用するレプリケーションクエリを含むファイルを指定することで特定のデータベースを更新することが可能です。レプリケーションステートメントをセミコロンで区切ります。次のオプションは一つのデータベースに複数のHugging Face アカウントのデータを同期する例です:

• REPLICATE SELECT ステートメントで異なるtable prefix を使用する:

  REPLICATE PROD_Collections SELECT * FROM Collections;
  

• 別の方法として、異なるスキーマを使うことも可能です:

  REPLICATE PROD.Collections SELECT * FROM Collections;
  

レプリケーションのスケジュール起動

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］します。このように複数のHugging Face アカウントのデータを複製するジョブを作成することができました。