Boto3を使ってAWS Glue Data Catalogのスキーマ一覧を取得する方法

この記事では、Pythonのboto3ライブラリを使用して、AWSアカウント(AWS Glue Data Catalog)に存在するすべてのスキーマのリストを取得する方法を解説します。

実現したいこと

AWS Glue Data Catalogに登録されている、利用可能なすべてのスキーマの一覧を取得します。

課題: Pythonのboto3ライブラリを使って、すべてのスキーマのリストを取得すること。

解決のためのアプローチと手順

• ステップ1: 例外処理を行うために、boto3およびbotocore.exceptions(ClientErrorなど)をインポートします。

• ステップ2: 今回使用する関数にはパラメータは不要です。

• ステップ3: boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時にregion_nameを明示的に指定する必要があります。

• ステップ4: glueサービス用のAWSクライアントを作成します。

• ステップ5: list_schemas関数を呼び出します。

• ステップ6: この関数は、AWS Glue Data Catalogに存在するすべてのスキーマのリストを、レジストリ名・スキーマ名・ARN・説明・ステータスなどの概要情報とともに返します。なお、ステータスが「Deleting」になっているスキーマは結果に含まれず、利用可能なスキーマのみが表示されます。スキーマが1件も存在しない場合は、空の辞書が返されます。

• ステップ7: スキーマの取得処理中にエラーが発生した場合に備えて、汎用的な例外処理も実装しておきます。

サンプルコード

以下のコードは、すべてのスキーマのリストを取得する例です。

import boto3
from botocore.exceptions import ClientError

def list_of_schemas():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        schemas_name = glue_client.list_schemas()
        return schemas_name
    except ClientError as e:
        raise Exception("boto3 client error in list_of_schemas: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in list_of_schemas: " + e.__str__())

print(list_of_schemas())

実行結果

{
    'Schemas':[
    {
        'RegistryName': 'employee_details',
        'SchemaName': 'employee_table',
        'SchemaArn': 'string',
        'Description': 'Schema for employees record',
        'Status': 'AVAILABLE',
        'CreatedTime': 'string',
        'UpdatedTime': 'string'
    },
    {
        'RegistryName': 'security_details',
        'SchemaName': 'security_table',
        'SchemaArn': 'string',
        'Description': 'Schema for security record',
        'Status': 'AVAILABLE',
        'CreatedTime': 'string',
        'UpdatedTime': 'string'
    },
],
'Request': ……
}

補足

list_schemas APIはページネーションに対応しているため、スキーマの数が多い場合は、レスポンスに含まれるNextTokenを使って次のページを取得できます。また、特定のレジストリに絞り込みたい場合は、RegistryIdパラメータを指定することも可能です。大規模な環境では、これらのオプションを活用すると効率的にスキーマを管理できます。