PythonとBoto3を使ってAWS Glueクローラーの詳細情報を取得する方法

この記事では、PythonのBoto3ライブラリを使用して、AWS Glueクローラーの詳細情報を取得する方法を解説します。例として、「crawler_for_s3_file_job」というクローラーの詳細を取得するケースを見ていきましょう。

問題を解決するためのアプローチとアルゴリズム

ステップ1： 例外を適切に処理できるよう、boto3とbotocore.exceptionsをインポートします。

ステップ2： crawler_nameは必須パラメータです。リスト形式で指定するため、複数のクローラー名を一度に送信して、まとめて詳細情報を取得することも可能です。

ステップ3： boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

ステップ4： AWS Glue用のクライアントを作成します。

ステップ5： batch_get_crawlers関数を呼び出し、引数としてcrawler_namesを渡します。

ステップ6： 関数の戻り値として、対象クローラーのメタデータが返されます。

ステップ7： 処理中に何らかの問題が発生した場合に備え、汎用的な例外ハンドリングを実装しておきます。

サンプルコード

以下のコードを使用すると、クローラーの詳細情報を取得できます。

import boto3
from botocore.exceptions import ClientError

def get_crawler_details(crawler_names:list)
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        crawler_details = glue_client.batch_get_crawlers(CrawlerNames= crawler_names)
        return crawler_details
    except ClientError as e:
        raise Exception( "boto3 client error in get_crawler_details: " + e.__str__())
    except Exception as e:
        raise Exception( "Unexpected error in get_crawler_details: " + e.__str__())

print(get_crawler_details("[crawler_for_s3_file_job]"))

コードのポイント

• batch_get_crawlersは、1回の呼び出しで最大25個のクローラー名を指定できます。返されるメタデータには、クローラー名、IAMロール、関連付けられたデータベース、スケジュール、実行履歴などが含まれます。
• ClientErrorを個別にキャッチすることで、認証エラーや権限不足といったAWS API固有のエラーと、その他の予期しないエラーを区別して処理できます。これにより、トラブルシューティングが格段にしやすくなります。
• 本番環境では、例外発生時にエラーメッセージをログへ記録したり、リトライ処理を組み込んだりすることをおすすめします。