TIBCO Data Virtualization で Hugging Face のデータ にリアルタイムアクセスする方法

TIBCO Data Virtualization（TDV）は、複数の多様なデータソースへのアクセスを一元管理するエンタープライズデータ仮想化ソリューションです。CData TIBCO DV Adapter for Hugging Face と組み合わせることで、TIBCO Data Virtualization 内からHugging Face のデータに直接フェデレーテッドアクセスが可能になります。この記事では、アダプターのデプロイと Hugging Face に基づく新しいデータソースの作成手順を解説します。

CData TIBCO DV Adapter は、最適化されたデータ処理機能が組み込まれており、Hugging Face のデータ とのインタラクションにおいて比類のないパフォーマンスを発揮します。Hugging Face に対して複雑な SQL クエリを発行すると、アダプターはフィルタや集計などサポートされている SQL 操作を直接 Hugging Face にプッシュします。組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用してHugging Face のデータを操作・分析できます。

Hugging Face TIBCO DV Adapter のデプロイ

1. コンソールで、TDV Server のインストールディレクトリ内の bin フォルダに移動します。現在のバージョンのアダプターがインストールされている場合は、先にアンデプロイする必要があります。

   .\server_util.bat -server localhost -user admin -password ******** -undeploy -version 1 -name API
   

2. CData TIBCO DV Adapter をローカルフォルダに解凍し、解凍した場所から JAR ファイル（tdv.api.jar）をサーバーにデプロイします。

   .\server_util.bat -server localhost -user admin -password ******** -deploy -package /PATH/TO/tdv.api.jar
   

新しい JAR ファイルが正しくロードされるように、サーバーの再起動が必要な場合があります。再起動は、C:\Program Files\TIBCO\TDV Server <version>\bin にある composite.bat スクリプトを実行して行えます。サーバーを再起動した後は、TDV Studio への再認証が必要です。

再起動コマンドの例

.\composite.bat monitor restart

アダプターをデプロイしたら、TDV Studio で Hugging Face 用の新しいデータソースを作成できます。

TDV Studio で Hugging Face データソースを作成する

CData TIBCO DV Adapter for Hugging Face を使用すると、Hugging Face 用のデータソースを簡単に作成し、データソースをイントロスペクトしてリソースを TDV に追加できます。

データソースの作成

1. データソースを追加するフォルダを右クリックし、New -> New Data Source を選択します。
2. アダプター（例：Hugging Face）が表示されるまでスクロールし、Next をクリックします。
3. データソースに名前を付けます（例：CData Hugging Face Source）。

4. 必要な接続プロパティを入力します。

   HuggingFace Hub は、API へのアクセスを可能にするためにトークンベースの認証を使用します。この API では、HuggingFace Hub プラットフォーム上の機械学習モデル、データセット、スペース、論文、その他のリソースにアクセスできます。

   API キー認証の設定

   HuggingFace Hub への認証には、API Key（アクセストークン）を指定する必要があります。アクセストークンを取得するには、以下のステップで進めます：

   1. https://huggingface.co で HuggingFace アカウントにログインします
   2. Settings > Access Tokens に移動します
   3. 「New token」をクリックして新しいアクセストークンを作成します
   4. 適切な権限（read または write）を選択します
   5. トークンの値をコピーします

   アクセストークンを取得したら、以下の接続プロパティを設定します：

   • AuthScheme：APIKey に設定します。
   • APIKey：HuggingFace のアクセストークンに設定します。

   接続文字列の例

   Profile=C:\profiles\HuggingFace.apip;ProfileSettings='APIKey=hf_xxxxxxxxxxxxxxxxxxxx';
   

   
5. Create & Close をクリックします。

データソースのイントロスペクト

データソースを作成したら、右クリックして Open を選択することでデータソースをイントロスペクトできます。ダッシュボードで Add/Remove Resources をクリックし、データソースの一部として含めるテーブル、ビュー、ストアドプロシージャを選択します。Next をクリックし、Finish をクリックして、選択した Hugging Face のテーブル、ビュー、ストアドプロシージャをリソースとして追加します。

After creating and introspecting the data source, you are ready to work with Hugging Face のデータ in TIBCO Data Virtualization just like you would any other relational data source. You can create views, query using SQL, publish the data source, and more.

データソースを作成してイントロスペクトしたら、他のリレーショナルデータソースと同様に TIBCO Data Virtualization でHugging Face のデータを操作できるようになります。ビューの作成、SQL によるクエリ、データソースの公開など、さまざまな操作が可能です。