Boto3を使ってAWS Glueのすべてのトリガーをページネーションで取得する方法

課題

Pythonのboto3ライブラリを使用して、自分のAWSアカウントに作成されたAWS Glue Data Catalog上のすべてのトリガーを、ページネーション（ページ分割）処理しながら取得します。

解決のための手順・アルゴリズム

• ステップ1： 例外をハンドリングするために、boto3およびbotocore.exceptionsをインポートします。

• ステップ2： max_items、page_size、starting_tokenは、この関数のオプションパラメータです。

  • max_items： 取得するレコードの総数を表します。利用可能なレコード数がmax_itemsを超える場合、レスポンスにNextTokenが含まれ、それを使ってページネーションを再開できます。

  • page_size： 1ページあたりのサイズを表します。

  • starting_token： ページネーションの開始位置を指定するためのもので、前回のレスポンスから取得したNextTokenを使用します。

• ステップ3： boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時にregion_nameを明示的に渡す必要があります。

• ステップ4： Glue用のAWSクライアントを作成します。

• ステップ5： get_triggersを使用して、すべてのトリガーの詳細を含むpaginatorオブジェクトを作成します。

• ステップ6： paginate関数を呼び出し、max_items、page_size、starting_tokenをPaginationConfigパラメータとして渡します。

• ステップ7： max_itemsとpage_sizeの設定に基づいた件数のレコードが返されます。

• ステップ8： ページネーション処理中に問題が発生した場合は、汎用的な例外をハンドリングします。

サンプルコード

以下のコードを使用すると、ユーザーアカウントに作成されたすべてのトリガーをページネーション処理しながら取得できます。

import boto3
from botocore.exceptions import ClientError

def paginate_through_triggers(max_items: int = None, page_size: int = None, starting_token: str = None):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        paginator = glue_client.get_paginator('get_triggers')
        response = paginator.paginate(
            PaginationConfig={
                'MaxItems': max_items,
                'PageSize': page_size,
                'StartingToken': starting_token
            }
        )
        return response
    except ClientError as e:
        raise Exception("paginate_through_triggers内でboto3クライアントエラーが発生しました: " + str(e))
    except Exception as e:
        raise Exception("paginate_through_triggers内で予期しないエラーが発生しました: " + str(e))

page_itr = paginate_through_triggers(max_items=2, page_size=5)
for page in page_itr:
    print(page['Triggers'])

実行結果

[{'Name': 'file-passed', 'WorkflowName': 'data-tx', 'Type': 'CONDITIONAL', 'State': 'ACTIVATED', 'Actions': [{'JobName': 'data-event'}], 'Predicate': {'Logical': 'ANY', 'Conditions': [{'LogicalOperator': 'EQUALS', 'JobName': 'data-worker', 'State': 'SUCCEEDED'}]}},
{'Name': 'file-passed-to-acc', 'WorkflowName': 'tick-data', 'Type': 'CONDITIONAL', 'State': 'ACTIVATED', 'Actions': [{'JobName': 'tick-data'}], 'Predicate': {'Logical': 'ANY', 'Conditions': [{'LogicalOperator': 'EQUALS', 'JobName': 'tick-data', 'State': 'SUCCEEDED'}]}}]

まとめ

boto3のpaginator機能を活用することで、大量のトリガーが存在する環境でも、一度にすべてを取得せずに効率的にデータを扱うことができます。PaginationConfigの各パラメータを適切に組み合わせることで、API呼び出しの負荷を抑えながら必要な分だけトリガー情報を取得できるのが大きなメリットです。