Boto3を使ってAWS Glue Data Catalogのクローラーを停止する方法

この記事では、AWS Glue Data Catalog 上に存在するクローラー（Crawler）を停止する方法について解説します。

課題

問題文： Python の boto3 ライブラリを使用して、AWS Glue のクローラーを停止します。

解決のためのアプローチ／アルゴリズム

• ステップ1： 例外処理のために boto3 および botocore.exceptions をインポートします。

• ステップ2： crawler_name（クローラー名）をこの関数のパラメータとして受け取ります。

• ステップ3： boto3 ライブラリを使って AWS セッションを作成します。デフォルトプロファイルに region_name が設定されていることを確認してください。設定されていない場合は、セッション作成時に region_name を明示的に指定する必要があります。

• ステップ4： glue 用の AWS クライアントを作成します。

• ステップ5： stop_crawler 関数を呼び出し、パラメータ crawler_name を Name として渡します。

• ステップ6： 関数はレスポンスメタデータを返し、クローラーが実行中であればそれを停止します。実行中でない場合は CrawlerNotRunningException がスローされます。

• ステップ7： クローラーの停止中に何らかの問題が発生した場合に備え、汎用的な例外処理も行います。

サンプルコード

以下のコードは、クローラーを停止します。

import boto3
from botocore.exceptions import ClientError

def stop_a_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.stop_crawler(Name=crawler_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in stop_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in stop_a_crawler: " + e.__str__())

print(stop_a_crawler("Data Dimension"))

実行結果

上記コードを実行すると、以下のようなレスポンスメタデータが出力され、クローラーの停止が完了します。

{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}

まとめ

boto3 の stop_crawler API を使えば、わずか数行のコードで AWS Glue Data Catalog 上のクローラーを安全に停止できます。HTTP ステータスコード 200 が返れば正常に処理されたことを意味し、クローラーが実行中でない場合は CrawlerNotRunningException が発生するため、適切な例外ハンドリングを組み合わせることで堅牢なスクリプトを作成できます。