Boto3を使ってAWS Glue Data Catalogのクローラースケジュールを停止する方法

この記事では、AWS Glue Data Catalog上のクローラーのスケジュールを停止する方法について解説します。

概要

AWS Glue Data Catalogに登録されているクローラーのスケジュールを停止します。

課題：Pythonのboto3ライブラリを使用して、クローラーのスケジュールを停止すること。

解決のためのアプローチと手順

• ステップ1: 例外処理を行うために、boto3およびbotocoreの例外モジュールをインポートします。

• ステップ2: この関数ではcrawler_name（クローラー名）が必須パラメータとなります。

• ステップ3: boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_name（リージョン名）が設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

• ステップ4: glue用のAWSクライアントを作成します。

• ステップ5: stop_crawler_schedule関数を使用し、パラメータcrawler_nameをCrawlerNameとして渡します。

• ステップ6: この操作によりレスポンスメタデータが返され、クローラーのスケジュール状態がNOT_SCHEDULEDに設定されます。なお、クローラーが実行中の場合でも、クローラー自体は停止されない点に注意してください。

• ステップ7: クローラーのスケジュール停止中に問題が発生した場合に備えて、汎用的な例外処理を実装します。

サンプルコード

以下のコードは、クローラーのスケジュールを停止します。

import boto3
from botocore.exceptions import ClientError

def stop_scheduler_of_a_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.stop_crawler_schedule(CrawlerName=crawler_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in stop_scheduler_of_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in stop_scheduler_of_a_crawler: " + e.__str__())

print(stop_scheduler_of_a_crawler("Data Dimension"))

実行結果

{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}