Boto3を使ってAWS Glueデータカタログからクローラーを削除する方法

本記事では、Pythonのboto3ライブラリを使用して、AWSアカウント内に作成されたGlueクローラーを削除する手順を解説します。AWS Glueのクローラーは、S3などのデータソースをスキャンしてデータカタログにテーブル定義を作成する重要なコンポーネントですが、不要になったクローラーは適切に削除することでリソースを整理できます。

課題 − Pythonのboto3ライブラリを使って、自分のアカウントに作成されたクローラーを削除する。

例 − アカウントに作成された「Portfolio」という名前のクローラーを削除する。

問題解決のアプローチとアルゴリズム

ステップ1 − 例外処理のために、boto3およびbotocoreの例外クラスをインポートします。

ステップ2 − AWS Glueカタログから削除したいクローラー名（crawler_name）をパラメータとして渡します。

ステップ3 − boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを指定する必要があります。

ステップ4 − Glueサービス用のAWSクライアントを作成します。

ステップ5 − delete_crawler関数を呼び出し、crawler_nameをNameパラメータとして渡します。

ステップ6 − クローラーが削除され、レスポンスメタデータが返却されます。

ステップ7 − 処理中に予期しない問題が発生した場合に備え、汎用的な例外ハンドリングを実装します。

サンプルコード

以下のコードを使用すると、AWS Glueデータカタログからクローラーを削除できます。

import boto3
from botocore.exceptions import ClientError

def delete_a_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.delete_crawler(Name=crawler_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in delete_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in delete_a_crawler: " + e.__str__())

print(delete_a_crawler("Portfolio"))

実行結果

{'ResponseMetadata': {'RequestId': '067b667f-0a74d4f30a5b',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021
14:54:30 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '067b667f0a10-4f99-91be-0a74d4f30a5b'}, 'RetryAttempts': 0}}

HTTPステータスコード200が返されていれば、クローラーの削除は正常に完了しています。なお、削除対象のクローラーが存在しない場合や、IAM権限が不足している場合にはClientErrorが発生するため、実際の運用では例外処理を適切に実装しておくことが重要です。