Boto3でAWS Glue Data Catalogのクローラースケジューラーを開始する方法

本記事では、AWS Glue Data Catalogに登録されているクローラーのスケジューラーを開始する方法について解説します。Pythonのboto3ライブラリを使用することで、クローラーのスケジュール状態を簡単に制御できます。

例

AWS Glue Data Catalogに存在するクローラーのスケジューラーを開始します。

課題： Pythonのboto3ライブラリを使用して、クローラーのスケジューラーを開始する。

解決のためのアプローチとアルゴリズム

• ステップ1： 例外処理のために、boto3およびbotocore.exceptionsからClientErrorをインポートします。

• ステップ2： crawler_name（クローラー名）は、この関数における必須パラメータです。

• ステップ3： boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_name（リージョン名）が設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを指定する必要があります。

• ステップ4： glueサービス用のAWSクライアントを作成します。

• ステップ5： start_crawler_schedule関数を呼び出し、パラメータCrawlerNameとしてcrawler_nameを渡します。

• ステップ6： 正常に実行されるとレスポンスメタデータが返され、クローラーのスケジュール状態が「SCHEDULED」に設定されます。なお、クローラーがすでに実行中の場合や、スケジュール状態がすでに「SCHEDULED」になっている場合は、SchedulerRunningExceptionという例外がスローされます。

• ステップ7： クローラーのスケジューラー開始時に予期しない問題が発生した場合に備え、汎用的な例外処理を実装します。

サンプルコード

以下のコードは、クローラーのスケジューラーを開始する例です。

import boto3
from botocore.exceptions import ClientError

def start_scheduler_of_a_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.start_crawler_schedule(CrawlerName=crawler_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in start_scheduler_of_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in start_scheduler_of_a_crawler: " + e.__str__())

print(start_scheduler_of_a_crawler("Data Dimension"))

出力結果

コードを実行すると、以下のようなレスポンスメタデータが出力されます。HTTPステータスコード200が返されていれば、スケジューラーの開始に成功しています。

{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}

まとめ

boto3のstart_crawler_schedule関数を使用すれば、数行のコードでAWS Glue Data Catalog上のクローラーのスケジューラーを簡単に開始できます。エラーハンドリングを適切に実装することで、クローラーが既に実行中の場合なども安全に処理できるため、本番環境での自動化にも活用できます。