PythonのBoto3を使ってAWS Glueデータカタログからテーブル定義を取得する方法

課題

Pythonのboto3ライブラリを使用して、AWS Glueデータカタログに登録されているデータベースのテーブル定義を取得します。

例： データベース「QA-test」内のテーブル「security」の定義を取得します。

解決のためのアプローチとアルゴリズム

ステップ1： 例外を処理するために、boto3およびbotocoreの例外クラス（ClientErrorなど）をインポートします。

ステップ2： database_name（データベース名）とtable_name（テーブル名）は必須パラメータです。この2つを指定して対象テーブルの定義を取得します。

ステップ3： boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

ステップ4： AWS Glue用のクライアントを作成します。

ステップ5： get_table関数を呼び出し、database_nameをDatabaseNameパラメータに、table_nameをNameパラメータに渡します。

ステップ6： 指定したテーブルの定義が返されます。テーブルに複数のバージョンが存在する場合でも、常に最新バージョンの情報が取得されます。

ステップ7： 処理中に問題が発生した場合に備えて、汎用的な例外ハンドリングを行います。

サンプルコード

以下のコードを使用すると、データベース内のテーブル定義を取得できます。

import boto3
from botocore.exceptions import ClientError

def retrieves_table_details(database_name, table_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_table(DatabaseName=database_name, Name=table_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in retrieves_table_details: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in retrieves_table_details: " + e.__str__())

print(retrieves_table_details('QA-test', 'security'))

実行結果

上記のコードを実行すると、テーブル名、所有者、作成日時、カラム定義（StorageDescriptor）、保存先のS3ロケーション、入出力フォーマット、パーティション情報、クローラーによって付与されたメタデータなど、テーブルに関する詳細情報が辞書形式で返されます。

{'Table': {'Name': 'security', 'DatabaseName': 'QA-test', 'Owner':
'owner', 'CreateTime': datetime.datetime(2020, 9, 10, 22, 27, 24,
tzinfo=tzlocal()), 'UpdateTime': datetime.datetime(2021, 2, 28, 10, 37,
33, tzinfo=tzlocal()), 'LastAccessTime': datetime.datetime(2020, 9, 10,
22, 27, 24, tzinfo=tzlocal()), 'Retention': 0, 'StorageDescriptor':
{'Columns': [{'Name': 'assettypecode', 'Type': 'string'}, {'Name':
'industrysector', 'Type': 'string'}, {'Name': 'securitycode', 'Type':
'char'}, {'Name': 'contractsize', 'Type': 'string'}, {'Name':
'conversionperiodenddate', 'Type': 'string'}, {'Name':
'conversionperiodstartdate', 'Type': 'string'}, {'Name':
'expirationdate', 'Type': 'string'}, {'Name': 'issuercountrycode',
'Type': 'string'}, {'Name': 'issuercountrydesc', 'Type': 'string'},
{'Name': 'originalissuedate', 'Type': 'string'}, {'Name':
'securitynamelong', 'Type': 'string'}, {'Name': 'issueshortname',
'Type': 'string'}, {'Name': 'gicssector', 'Type': 'string'}, {'Name':
'maturitydate', 'Type': 'string'}, {'Name': 'optioncode', 'Type':
'string'}, {'Name': 'optiontypename', 'Type': 'string'}, {'Name':
'paramount', 'Type': 'string'}, {'Name': 'priceindex', 'Type':
'string'}, {'Name': 'countrycoderisk', 'Type': 'string'}, {'Name':
'countrydescrisk', 'Type': 'string'}, {'Name': 'countrycode', 'Type':
'string'}], 'Location': 's3://test/security/', 'InputFormat':
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat',
'OutputFormat':
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat',
'Compressed': False, 'NumberOfBuckets': -1, 'SerdeInfo':
{'SerializationLibrary':
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe',
'Parameters': {'serialization.format': '1'}}, 'BucketColumns': [],
'SortColumns': [], 'Parameters': {'CrawlerSchemaDeserializerVersion':
'1.0', 'CrawlerSchemaSerializerVersion': '1.0', 'UPDATED_BY_CRAWLER':
'security', 'averageRecordSize': '181', 'classification': 'parquet',
'compressionType': 'none', 'objectCount': '5', 'recordCount': '154800',
'sizeKey': '20337230', 'typeOfData': 'file'}, 'StoredAsSubDirectories':
False}, 'PartitionKeys': [], 'TableType': 'EXTERNAL_TABLE',
'Parameters': {'CrawlerSchemaDeserializerVersion': '1.0',
'CrawlerSchemaSerializerVersion': '1.0', 'UPDATED_BY_CRAWLER':
'security', 'averageRecordSize': '181', 'classification': 'parquet',
'compressionType': 'none', 'objectCount': '5', 'recordCount': '154800',
'sizeKey': '20337230', 'typeOfData': 'file'}, 'CreatedBy':
'arn:aws:sts::************:assumed-role/glue-role/AWS-Crawler'},
'ResponseMetadata': {'RequestId': '4c108dd5-***************76ac',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Mon, 01 Mar 2021
06:04:58 GMT', 'content-type': 'application/x-amz-json-1.1',
'contentlength': '3882', 'connection': 'keep-alive',
'x-amzn-requestid': '4c108dd5-*********************676ac'},
'RetryAttempts': 0}}

まとめ

boto3のget_table関数を使えば、わずか数行のコードでAWS Glueデータカタログからテーブルの詳細なスキーマ定義を取得できます。Glueクローラーによって自動生成されたメタデータも合わせて確認できるため、ETLジョブの開発やデータ基盤の管理に非常に便利です。