Boto3を使ってAWS Glueデータカタログからデータベースを削除する方法
課題
Pythonのboto3ライブラリを使用して、自分のAWSアカウント内に作成されたデータベースを削除します。
例 − アカウントに作成された「Portfolio」というデータベースを削除します。
解決のためのアプローチとアルゴリズム
ステップ1 − 例外をハンドリングするために、boto3とbotocoreの例外モジュールをインポートします。
ステップ2 − AWS Glue Catalogから削除したいデータベース名を database_name パラメータとして渡します。
ステップ3 − boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルに region_name が設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的に region_name を指定する必要があります。
ステップ4 − glue 用のAWSクライアントを作成します。
ステップ5 − delete_database 関数を呼び出し、Name パラメータとして database_name を渡します。
ステップ6 − データベースが削除され、レスポンスメタデータが返されます。
ステップ7 − 処理中に予期しない問題が発生した場合に備えて、汎用的な例外処理を実装しておきます。
注意点
この操作が完了すると、削除されたデータベース内のテーブル(およびそれらのテーブルに属するすべてのテーブルバージョンとパーティション)や、ユーザー定義関数(ストアドプロシージャ)にはアクセスできなくなります。AWS Glueは、これらの「孤立した」リソースを、サービス側の判断により適宜非同期で削除します。
サンプルコード
AWS Glue Data Catalogからデータベースを削除するには、以下のコードを使用します。
import boto3
from botocore.exceptions import ClientError
def delete_a_database(database_name):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
response = glue_client.delete_database(Name=database_name)
return response
except ClientError as e:
raise Exception("boto3 client error in delete_a_database: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in delete_a_database: " + e.__str__())
print(delete_a_database("Portfolio"))実行結果
{'ResponseMetadata': {'RequestId': '067b667f-0a74d4f30a5b',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021
14:54:30 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '067b667f0a10-4f99-91be-0a74d4f30a5b'}, 'RetryAttempts': 0}}
-
Boto3を使ってAWS Glueのジョブを削除する方法を徹底解説
AWS Glueは、ETL(抽出・変換・ロード)処理を簡単に実行できるサーバーレスのデータ統合サービスです。本記事では、Pythonのboto3ライブラリを使用して、自分のAWSアカウント内に作成済みのGlueジョブを削除する方法を、ステップごとにわかりやすく解説します。 課題 Pythonのboto3ライブラリを使って、AWSアカウント内に作成されたGlueジョブを削除します。 例: アカウント内に作成された「transfer_from_s3」というGlueジョブを削除します。 解決のためのアプローチとアルゴリズム ステップ1: 例外処理のために、boto3とbotocoreの例外モジュール
-
Boto3を使ってAWS Glueデータカタログからクローラーを削除する方法
本記事では、Pythonのboto3ライブラリを使用して、AWSアカウント内に作成されたGlueクローラーを削除する手順を解説します。AWS Glueのクローラーは、S3などのデータソースをスキャンしてデータカタログにテーブル定義を作成する重要なコンポーネントですが、不要になったクローラーは適切に削除することでリソースを整理できます。 課題 − Pythonのboto3ライブラリを使って、自分のアカウントに作成されたクローラーを削除する。 例 − アカウントに作成された「Portfolio」という名前のクローラーを削除する。 問題解決のアプローチとアルゴリズム ステップ1 − 例外処理のため