Boto3を使ってAWSアカウント内のワークフロー一覧を取得する方法

本記事では、Pythonのboto3ライブラリを使用して、AWSアカウントに存在するすべてのワークフローの一覧を取得する方法を解説します。

概要

AWS Glue Data Catalog上で利用可能なワークフローの全リストを取得する方法を紹介します。

課題： Pythonのライブラリを使って、AWS Glue Data Catalog内のすべてのワークフローの一覧を取得します。

実装手順

• ステップ1： boto3とbotocoreの例外クラス（ClientErrorなど）をインポートし、例外処理に備えます。

• ステップ2： list_workflows関数には必須パラメータはありません。

• ステップ3： boto3を使用してAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていない場合は、セッション作成時に明示的にregion_nameを指定してください。

• ステップ4： AWS Glue用のクライアントを作成します。

• ステップ5： list_workflows関数を呼び出します。

• ステップ6： 関数はAWS Glue Data Catalogに存在するすべてのワークフローのリストを返します。ワークフローが1つも存在しない場合は、空の辞書が返されます。

• ステップ7： ワークフローの確認中に問題が発生した場合に備え、汎用例外もハンドリングします。

サンプルコード

以下のコードは、すべてのワークフローの一覧を取得します。

import boto3
from botocore.exceptions import ClientError

def list_of_workflows():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        workflows = glue_client.list_workflows()
        return workflows
    except ClientError as e:
        raise Exception("boto3 client error in list_of_workflows: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in list_of_workflows: " + e.__str__())

print(list_of_workflows())

実行結果

{'Workflows':
['tick-data-etl', 'test-wf-daily-jobs'],
'ResponseMetadata': {'RequestId': '3824e47a-***************e6d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Mar 2021 09:47:38 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '64', 'connection': 'keep-alive', 'x-amzn-requestid': '3824e47a-********************e6d'}, 'RetryAttempts': 0}}

まとめ

boto3のlist_workflows関数を使えば、わずか数行のコードでAWS Glue Data Catalog内のワークフロー一覧を簡単に取得できます。ClientErrorなどの例外を適切にハンドリングすることで、予期しないエラー発生時にも原因を特定しやすくなります。なお、ワークフロー数が多い場合は、NextTokenを利用したページネーション処理を組み合わせると、より堅牢な実装になります。