Boto3を使ってAWS Glueカタログのワークフロー詳細を更新する方法

本記事では、AWS Glueカタログに登録されたワークフローの詳細情報を、Pythonのboto3ライブラリを使って更新する方法を解説します。

課題の概要

課題： Pythonのboto3ライブラリを使用して、自分のAWSアカウント内に作成済みのワークフローの詳細を更新します。

解決のためのアプローチとアルゴリズム

• ステップ1： 例外処理のために、boto3およびbotocoreの例外モジュールをインポートします。

• ステップ2： workflow_nameは必須パラメータです。Description（説明）とdefault_run_properties（デフォルト実行プロパティ）は任意パラメータで、これらを指定して対象ワークフローの詳細を更新します。

• ステップ3： boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

• ステップ4： glueサービス用のAWSクライアントを作成します。

• ステップ5： update_workflow関数を呼び出し、workflow_nameをNameパラメータに、descriptionをDescriptionに、default_run_propertiesをDefaultRunPropertiesにそれぞれ渡します。

• ステップ6： 正常に処理されると、対象ワークフローのメタデータが返されます。

• ステップ7： 処理中に予期しない問題が発生した場合に備え、汎用的な例外ハンドリングを実装しておきます。

サンプルコード

以下のコードは、ユーザーアカウントに作成されたワークフローの詳細を更新する例です。

import boto3
from botocore.exceptions import ClientError

def update_resource_detail_of_workflow(workflow_name, description=None, default_run_properties=None):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.update_workflow(
            Name=workflow_name,
            Description=description,
            DefaultRunProperties=default_run_properties
        )
        return response
    except ClientError as e:
        raise Exception("boto3 client error in update_resource_detail_of_workflow: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in update_resource_detail_of_workflow: " + e.__str__())

a = update_resource_detail_of_workflow('dev-aiml-naviga-ods-load', 'test')
print(a)

出力結果

{'Name': 'dev-aiml-naviga-ods-load', 'ResponseMetadata': {'RequestId': 'b328d064-24ab-48c4-b058-852387a3d474', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021 13:57:37 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2655', 'connection': 'keep-alive', 'x-amzn-requestid': 'b328d064-24ab-48c4-b058-852387a3d474'}, 'RetryAttempts': 0}}

補足ポイント

• update_workflowは既存のワークフローの説明やデフォルト実行プロパティを上書き更新するAPIです。ワークフローそのものを作成する場合はcreate_workflowを使用します。

• DefaultRunPropertiesには、ジョブ実行時に共通して利用できるキーと値のペア（例：環境変数やS3パスなど）を辞書形式で指定できます。

• APIを実行するIAMユーザーまたはロールには、Glueに対する適切な権限（例：glue:UpdateWorkflow）が付与されている必要があります。

• HTTPステータスコード200が返れば更新は成功です。失敗時にはClientErrorが発生するため、本番環境では例外メッセージをログに出力して原因を特定できるようにしておくと安心です。