DataGrip で HDFS のデータ をクエリ

DataGrip は、SQL 開発者がデータベースへのクエリ、作成、管理を行えるデータベース IDE です。CData JDBC Driver for HDFS と組み合わせることで、DataGrip からリアルタイムHDFS のデータを操作できます。この記事では、DataGrip で HDFS のデータ への接続を確立方法を説明します。

HDFS 用の新しいドライバー定義を作成

以下のステップでは、DataGrip で HDFS 用の新しいデータソースを作成する方法を説明します。

1. DataGrip で、File -> New -> Project をクリックしてプロジェクト名を入力します。
2. Database Explorer で、プラスアイコン（）をクリックして Driver を選択します。
3. Driver タブで以下を設定します。
   • Name をわかりやすい名前に設定します（例："CData HDFS Driver"）。
   • Driver Files を適切な JAR ファイルに設定します。ファイルを追加するには、プラス（）をクリックし、「Add Files」を選択して、ドライバーのインストールディレクトリ内の「lib」フォルダに移動し、JAR ファイル（例：cdata.jdbc.hdfs.jar）を選択します。
   • Class を cdata.jdbc.hdfs.HDFS.jar に設定します。
   また、詳細タブでは、ドライバーのプロパティや、VM Options、VM environment、VM home path、DBMS などの設定を変更できます。
   • ほとんどの場合、Expert options で DBMS type を「Unknown」に変更して、ネイティブの SQL Server クエリ（Transact-SQL）を回避してください。これを行わないと、無効な関数エラーが発生する可能性があります。
4. 「Apply」をクリックし、「OK」をクリックして接続を保存します。

HDFS への接続を設定

1. 接続を保存したら、プラス（）をクリックし、「Data Source」→「CData HDFS Driver」を選択して、新しい HDFS データソースを作成します。
2. 新しいウィンドウで、JDBC URL を使用して HDFS への接続を設定します。

   組み込みの接続文字列デザイナー

   JDBC URL の構築には、HDFS JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

         java -jar cdata.jdbc.hdfs.jar
       

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   HDFS 接続プロパティの取得・設定方法

   HDFS への認証には、次の接続プロパティを設定します。

   • Host：HDFS インスタンスのホストに設定。
   • Port：HDFS インスタンスのポートに設定。デフォルトのポートは"9870" です。
   
3. URL を接続文字列に設定します。例：

   jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

4. 「Apply」と「OK」をクリックして接続文字列を保存します。

これで、Data Explorer にデータソースが表示されます。

HDFS に対して SQL クエリを実行

JDBC Driver を介してアクセス可能な HDFS のエンティティ（テーブルとして利用可能）を参照するには、データソースを展開します。

クエリを実行するには、任意のテーブルを右クリックして「New」→「Query Console」を選択します。

Console で、実行したい SQL クエリを記述します。例：

SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'

CData JDBC Driver for HDFS の30日間の無料トライアルをダウンロードして、DataGrip でリアルタイムHDFS のデータを操作してみてください。ご不明な点があれば、サポートチームにお問い合わせください。