Python
 Computer >> コンピューター >  >> プログラミング >> Python

Boto3を使用して、AWS Glueデータカタログからすべてのデータベースの詳細を取得するにはどうすればよいですか?


問題の説明 − Pythonでboto3ライブラリを使用して、すべてのデータベースの定義を取得します。

−すべてのデータベースの定義を取得します。

この問題を解決するためのアプローチ/アルゴリズム

ステップ1 −例外を処理するためにboto3およびbotocore例外をインポートします。

ステップ2 −パラメータはありません。

ステップ3 −boto3ライブラリを使用してAWSセッションを作成します。 region_nameがデフォルトのプロファイルに記載されていることを確認してください。言及されていない場合は、セッションの作成時にregion_nameを明示的に渡します。

ステップ4 −接着剤用のAWSクライアントを作成します。

ステップ5 −ここで、 get_databasesを使用します 機能。

ステップ6 −ユーザーのアカウントに存在するすべてのデータベースの定義を返します。

ステップ7 −ジョブのチェック中に問題が発生した場合は、一般的な例外を処理します。

次のコードを使用して、すべてのデータベースの定義を取得します-

import boto3
from botocore.exceptions import ClientError

def retrieves_all_database_details()
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      response = glue_client.get_databases()
      return response
   except ClientError as e:
      raise Exception("boto3 client error in retrieves_all_database_details: " + e.__str__())
   except Exception as e:
      raise Exception("Unexpected error in retrieves_all_database_details: " + e.__str__())
print(retrieves_all_database_details())

出力

{'DatabaseList': [
{'Name': 'QA-test', 'CreateTime': datetime.datetime(2020, 11, 18, 14,
24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30,
9, tzinfo=tzlocal())},
{'Name': 'default', 'Description': 'Default Hive database',
'LocationUri': 'hdfs://ip-
************.ec2.internal:****/user/hive/warehouse', 'CreateTime':
datetime.datetime(2018, 5, 25, 16, 4, 54,
tzinfo=tzlocal())},'NextToken':
'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ
9LCJSQU5HRV9LRVkiOnsicyI6InN************Mjk3NywibmFub3MiOjIyNTA*********
**NvbnRleHQiOmZhbHNlfQ==',
'ResponseMetadata': {'RequestId': 'fa0a2069-***********-a0617',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021
12:49:37 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '25749', 'connection': 'keep-alive', 'x-amzn-requestid':
'fa0a2069-************a0617'}, 'RetryAttempts': 0}}

  1. Boto3を使用してAWSGlueDataカタログからテーブルを削除するにはどうすればよいですか?

    問題の説明 − Pythonでboto3ライブラリを使用して、アカウントで作成されたテーブルを削除します。 例 −アカウントで作成されたデータベース「test」からテーブル「security」を削除します。 この問題を解決するためのアプローチ/アルゴリズム ステップ1 −例外を処理するためにboto3およびbotocore例外をインポートします。 ステップ2 −AWSGlueカタログから削除する必要があるパラメータdatabase_nameとtable_nameを渡します。 ステップ3 −boto3ライブラリを使用してAWSセッションを作成します。 region_nameがデフォルトの

  2. Boto3を使用してAWSGlueデータカタログからクローラーを削除するにはどうすればよいですか?

    問題の説明 − Pythonでboto3ライブラリを使用して、アカウントで作成されたクローラーを削除します。 例 −アカウントで作成されたクローラー「ポートフォリオ」を削除します。 この問題を解決するためのアプローチ/アルゴリズム ステップ1 −例外を処理するためにboto3およびbotocore例外をインポートします。 ステップ2 −AWSGlueカタログから削除する必要があるパラメータcrawler_nameを渡します。 ステップ3 −boto3ライブラリを使用してAWSセッションを作成します。 region_nameがデフォルトのプロファイルに記載されていることを確認してください