Boto3を使ってAWS Glueクローラーのスケジュールを更新する方法【Python実践ガイド】

この記事では、AWSアカウント内に存在するAWS Glueクローラーのスケジュールを更新する方法について解説します。

例

課題： Pythonのboto3ライブラリを使用して、クローラーのスケジュールを更新します。

解決のためのアプローチ／アルゴリズム

• ステップ1： 例外処理のためにboto3とbotocore.exceptionsをインポートします。

• ステップ2： この関数では、crawler_name（クローラー名）とscheduler（スケジュール）が必須パラメータとなります。

• schedulerはcron(cron式)という形式で指定する必要があります。cron式は例えば「15 12 * * ? *」のように記述でき、この場合は毎日12:15 UTCにクローラーが実行されることを意味します。

• ステップ3： boto3ライブラリを使用してAWSセッションを作成します。region_nameがデフォルトプロファイルに設定されていることを確認してください。設定されていない場合は、セッション作成時にregion_nameを明示的に渡す必要があります。

• ステップ4： glue向けのAWSクライアントを作成します。

• ステップ5： update_crawler_schedule関数を使用し、crawler_nameをCrawlerNameパラメータに、schedulerをScheduleパラメータに渡します。

• ステップ6： レスポンスメタデータが返され、クローラーのスケジュール状態が更新されます。

• ステップ7： スケジュール更新中に何らかの問題が発生した場合に備え、汎用的な例外処理を実装します。

サンプルコード

以下のコードは、クローラーのスケジュールを更新します。

import boto3
from botocore.exceptions import ClientError

def update_scheduler_of_a_crawler(crawler_name, scheduler):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.update_crawler_schedule(CrawlerName=crawler_name, Schedule=scheduler)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in update_scheduler_of_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in update_scheduler_of_a_crawler: " + e.__str__())

print(update_scheduler_of_a_crawler("Data Dimension", "cron(15 12 * * ? *)"))

出力結果

{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}

出力結果にはレスポンスメタデータが含まれており、ステータスコード200が返されていることから、クローラーのスケジュールが正常に更新されたことが確認できます。