Boto3を使ってAWS Glueの全データベースをページネーションで取得する方法

この記事では、boto3ライブラリを使用して、AWS Glueに存在するすべてのデータベースをページネーション（ページ分割）しながら取得する方法を解説します。

課題の概要

問題： Pythonのboto3ライブラリを使い、自分のアカウント内に作成されたAWS Glue Data Catalogのすべてのデータベースをページネーション処理で一覧取得します。

解決のためのアプローチとアルゴリズム

• ステップ1： boto3とbotocoreの例外クラスをインポートし、エラーハンドリングに備えます。

• ステップ2： 本関数ではmax_items、page_size、starting_tokenの3つをパラメータとして使用します。

  • max_items： 取得するレコードの総数を指定します。利用可能なレコード数がmax_itemsを超える場合、レスポンスにNextTokenが含まれ、それを使ってページネーションを再開できます。

  • page_size： 1ページあたりのサイズ（件数）を指定します。

  • starting_token： ページネーションの開始位置を指定するトークンです。前回のレスポンスから取得したNextTokenを使用します。

• ステップ3： boto3ライブラリでAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていない場合は、セッション作成時に明示的にregion_nameを渡してください。

• ステップ4： AWS Glue用のクライアントを作成します。

• ステップ5： get_databasesを使用して、すべてのデータベース情報を含むpaginatorオブジェクトを作成します。

• ステップ6： paginate関数を呼び出し、PaginationConfigとしてmax_items、page_size、starting_tokenを渡します。

• ステップ7： max_itemsとpage_sizeの設定に基づいた件数のレコードが返されます。

• ステップ8： ページネーション中に問題が発生した場合は、汎用例外を適切にハンドリングします。

サンプルコード

以下のコードを使用すると、アカウント内に作成されたすべてのデータベースをページネーションで取得できます。

import boto3
from botocore.exceptions import ClientError

def paginate_through_databases(max_items: int = None, page_size: int = None, starting_token: str = None):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        paginator = glue_client.get_paginator('get_databases')
        response = paginator.paginate(PaginationConfig={
            'MaxItems': max_items,
            'PageSize': page_size,
            'StartingToken': starting_token}
        )
        return response
    except ClientError as e:
        raise Exception("boto3 client error in paginate_through_databases: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in paginate_through_databases: " + e.__str__())

a = paginate_through_databases(2, 5)
print(*a)

実行結果

{'DatabaseList': [
{'Name': 'aurora_glue_catalog', 'CreateTime': datetime.datetime(2020, 11, 18, 14, 24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30, 9, tzinfo=tzlocal())}],
'NextToken': 'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicyI6ImRldjEtZnJlYV9lZGxfZ2x1ZV9kYXRhYmFzZSJ9fSwiZXhwaXJhdGlvbiI6eyJzZWNvbmRzIjoxNjE3NDUwNDQxLCJuYW5vcyI6ODcwMDAwMDB9LCJzaGFyZWRDb250ZXh0IjpmYWxzZSwidGFnQ29udGV4dCI6ZmFsc2V9',
'ResponseMetadata': {'RequestId': '3e1c4f54-d573-4ba9-9948-832273ecca02', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 11:47:21 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '1617', 'connection': 'keep-alive', 'x-amzn-requestid': '3e1c4f54-d573-4ba9-9948-832273ecca02'}, 'RetryAttempts': 0}}

上記の出力例では、DatabaseListに2つのデータベースが返され、さらに多くのレコードが存在するためNextTokenも一緒に返されています。このNextTokenを次回の呼び出し時にstarting_tokenとして渡すことで、続きのデータベースを取得できます。