PythonのBoto3ライブラリでAWS Glueクローラーの詳細情報を取得する方法

はじめに

この記事では、Pythonのboto3ライブラリを使用して、AWS Glueの特定のクローラーの詳細情報を取得する方法を解説します。

課題 − Pythonでboto3ライブラリを使い、クローラーの詳細情報を取得します。

例 − 「crawler_for_s3_file_job」という名前のクローラーの詳細を取得します。

解決のためのアプローチと手順

ステップ1 − boto3とbotocoreの例外処理用モジュール（exceptions）をインポートし、例外を適切にハンドリングできるようにします。

ステップ2 − crawler_nameは必須パラメータです。文字列型のため、一度に指定できるクローラー名は1つだけです。複数のクローラーの詳細が必要な場合は、ループ処理などで個別に呼び出す必要があります。

ステップ3 − boto3ライブラリを使用してAWSセッションを作成します。region_nameがデフォルトプロファイルに設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

ステップ4 − AWS Glue用のクライアントを作成します。

ステップ5 − get_crawler関数を呼び出し、crawler_nameを引数として渡します。

ステップ6 − 関数の戻り値として、クローラーのメタデータ（ロール、ターゲット、状態、最終実行結果など）が返されます。

ステップ7 − 処理中に問題が発生した場合に備え、汎用的な例外もキャッチしてハンドリングします。

サンプルコード

以下のコードを使用すると、クローラーの詳細情報を取得できます。

import boto3
from botocore.exceptions import ClientError

def get_one_crawler_details(crawler_name: str):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        crawler_details = glue_client.get_crawler(Name=crawler_name)
        return crawler_details
    except ClientError as e:
        raise Exception("boto3 client error in get_one_crawler_details: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in get_one_crawler_details: " + e.__str__())

print(get_one_crawler_details("crawler_for_s3_file_job"))

実行結果

{'Crawler': {'Name': 'crawler_for_s3_file_job', 'Role': 'glue-role',
'Targets': {'S3Targets': [{'Path': 's3://test/', 'Exclusions': []}],
'JdbcTargets': [], 'DynamoDBTargets': [], 'CatalogTargets': []},
'DatabaseName': 'default', 'Classifiers': [], 'SchemaChangePolicy':
{'UpdateBehavior': 'UPDATE_IN_DATABASE', 'DeleteBehavior':
'DEPRECATE_IN_DATABASE'}, 'State': 'READY', 'TablePrefix': 'prod_scdk_',
'CrawlElapsedTime': 0, 'CreationTime': datetime.datetime(2018, 9, 24,
20, 42, 7, tzinfo=tzlocal()), 'LastUpdated': datetime.datetime(2020, 4,
27, 14, 49, 12, tzinfo=tzlocal()), 'LastCrawl': {'Status': 'SUCCEEDED',
'LogGroup': '/aws-glue/crawlers', 'LogStream':
'crawler_for_s3_file_job', 'MessagePrefix': ************-90ad1',
'StartTime': datetime.datetime(2020, 4, 27, 14, 49, 19,
tzinfo=tzlocal())}, 'Version': 15}, 'ResponseMetadata': {'RequestId':
'8c7dcbde-***********************-774', 'HTTPStatusCode': 200,
'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 11:34:32 GMT', 'content-type':
'application/x-amz-json-1.1', 'content-length': '805', 'connection':
'keep-alive', 'x-amzn-requestid': '8c7dcbde-**********************774'},
'RetryAttempts': 0}}

まとめ

上記のコードでは、まずboto3セッションを作成し、Glueクライアントを生成しています。その後、get_crawler関数にクローラー名を渡すことで、クローラーのロール、S3ターゲットのパス、スキーマ変更ポリシー、現在の状態（State）、最終クロールの実行結果などのメタデータを辞書形式で取得できます。

エラー処理については、AWS API固有のエラーを捕捉するClientErrorと、それ以外の予期しないエラーを捕捉する汎用例外の2段階でハンドリングしており、問題発生時には分かりやすいエラーメッセージとともに例外をスローする構造になっています。