PolyBaseによる統合データプラットフォームとデータ仮想化：パート2

PolyBaseシリーズによるこのUDPデータ仮想化のパート1では、PolyBaseを紹介し、このデモの前提条件を提供しました。この最終回では、デモに飛び込むことができます。

デモ：AzureBLOBからデータをフェッチするようにSQLPolybaseを設定する手順

デモを実施するには、次の手順を実行します。

1。 BLOBに配置された外部テキストファイルにアクセスするようにSQLServer®を設定します

SQL ServerがAzure®BLOBに配置された外部テキストファイルにアクセスできるようにするには、次のクエリを実行します。

EXEC sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
Go

図1

2。 SQL Serverデータベース、データベースマスターキー、および資格情報を設定します

ここで、既存のデータベースを使用するか、新しいデータベースを作成する必要があります。 PolybaseTestDBという名前の新しいものを作成しました このデモ用。

DBを取得したら、次のクエリを使用してデータベースマスターキーと資格情報を作成します。

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'Welcome@3452';
USE PolybaseTestDB
Go
CREATE DATABASE SCOPED CREDENTIAL [Polybasecred]
WITH
IDENTITY = ‘Polybaseaccount’,
SECRET=’qdfAVoBN+yr2rHN796gXFtpfhxKgAW3JDAtSPi0RnWcWgy9YRSwyGQR7BoINTHSgjiorUFTCmZpLTZspCbXesg==’;

上記のクエリでは、 SECRET 以前に作成したストレージアカウントのアクセスキーです。次の手順を実行することで取得できます：

1. Azureポータル->ストレージアカウントに移動します 。
2. ストレージアカウントをクリックします。
3. 左側のペインで、[アクセスキー]を選択します 。
4. キーは右側のペインに表示されます。
5. 前のクエリでそれらをコピーして使用します。

3。作成したクレデンシャルを使用して外部データソースを作成します

次のクエリを実行して、外部データソースを作成します。作成後、DB外部リソースの下に外部データソースを見つけることができます。

CREATE EXTERNAL DATA SOURCE AzureStorage
WITH 
(
  TYPE = HADOOP,             
  LOCATION = 'wasbs://[email protected]',
  CREDENTIAL = [Polybasecred]
);

図2

注： Azure Storage Blobは、Hadoop®DistributedFile System（HDFS）APIの上に構築された拡張機能であるため、 TYPE 上記のクエリにはHadoopがあります 。

4。外部ファイル形式を作成する

次のクエリを実行します：

CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (
FORMAT_TYPE = DELIMITEDTEXT,
FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT = TRUE))             

図3

注 ：カンマ区切りのテキストファイルであるため、 FIELD_TERMINATOR は‘,’ 。

5。外部テーブルを作成する

次のクエリを実行します：

CREATE EXTERNAL TABLE dbo.SQLPolybaseTable (
  [Name] varchar(500),
  [Subject] varchar(500),
  [Education] varchar(500)
)
WITH (
  LOCATION='/Data.txt',          This is the name of the file uploaded to the container.
  DATA_SOURCE=AzureStorage,      The Data Source created in previous steps.
  FILE_FORMAT=TextFileFormat     The File Format Name created in previous steps.
);

図4

6。外部テーブルを照会する

SQL Serverの他のテーブルと同じように、外部テーブルをクエリします。結果は、PolyBaseが外部データのフェッチに役立つことを検証します。次のクエリを実行します：

Select * from <Tablename>

図5