Boto3を使ってAWS Glueデータカタログのトリガーを起動する方法

AWS Glueのトリガーは、クローラやジョブなどのワークフロー内のアクションを、スケジュールやイベントに基づいて自動的に実行するための仕組みです。通常は設定されたスケジュールに従って実行されますが、start_trigger APIを利用することで、スケジュールを待たずに即座にトリガーを起動することも可能です。

この記事では、Pythonのboto3ライブラリを使用して、AWS Glueデータカタログ上のトリガーを起動する具体的な手順を解説します。

課題

問題: Pythonのboto3ライブラリを使って、AWS Glueのトリガーを起動します。

解決のためのアプローチとアルゴリズム

• ステップ1: 例外を適切にハンドリングできるよう、boto3およびbotocoreの例外クラスをインポートします。

• ステップ2: 関数のパラメータとしてtrigger_name(トリガー名)を受け取ります。

• ステップ3: boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを指定する必要があります。

• ステップ4: glueサービス用のAWSクライアントを作成します。

• ステップ5: start_trigger関数を呼び出し、パラメータtrigger_nameをName引数として渡します。

• ステップ6: レスポンスメタデータが返されるとともに、設定されたスケジュールに関係なくトリガーが即座に起動されます。

• ステップ7: トリガーの起動中にエラーが発生した場合に備え、汎用的な例外処理を実装しておきます。

サンプルコード

以下のコードは、AWS Glueデータカタログでトリガーを起動する例です。

import boto3
from botocore.exceptions import ClientError

def start_a_trigger(trigger_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.start_trigger(Name=trigger_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in start_a_trigger: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in start_a_trigger: " + e.__str__())

print(start_a_trigger("test-daily"))

実行結果

{'Name': 'test-daily', 'ResponseMetadata': {'RequestId': 'b2109689-*******************-d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 08:00:04 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '26', 'connection': 'keep-alive', 'x-amzn-requestid': 'b2109689-***********************-d'}, 'RetryAttempts': 0}}

ステータスコード200が返されていれば、トリガーの起動は成功です。ResponseMetadataにはリクエストIDなどの詳細情報が含まれており、トラブルシューティングの際にも役立ちます。