Boto3を使用してAWSアカウントに存在するすべてのクローラーのリストを取得する方法
この記事では、ユーザーがAWSアカウントに存在するすべてのクローラーのリストを取得する方法を説明します。
例
問題の説明: boto3を使用する すべてのクローラーのリストを取得するためのPythonのライブラリ。
この問題を解決するためのアプローチ/アルゴリズム
-
ステップ1: boto3をインポートします およびbotocore 例外を処理するための例外。
-
ステップ2: この関数にはパラメータはありません。
-
ステップ3: boto3 libを使用してAWSセッションを作成します 。 region_nameを確認してください デフォルトのプロファイルに記載されています。言及されていない場合は、 region_nameを明示的に渡します セッションの作成中。
-
ステップ4: 接着剤用のAWSクライアントを作成します 。
-
ステップ5: 次に、 list_crawlersを使用します
-
ステップ6: AWSGlueデータカタログに存在するすべてのクローラーのリストを返します。
-
ステップ7: ジョブのチェック中に問題が発生した場合は、一般的な例外を処理します。
サンプルコード
次のコードは、すべてのクローラーのリストをフェッチします-
import boto3 from botocore.exceptions import ClientError def list_of_crawlers() session = boto3.session.Session() glue_client = session.client('glue') try: crawler_details = glue_client.list_crawlers() return crawler_details except ClientError as e: raise Exception("boto3 client error in list_of_crawlers: " + e.__str__()) except Exception as e: raise Exception("Unexpected error in list_of_crawlers: " + e.__str__()) print(list_of_crawlers())
出力
{'CrawlerNames': ['crawler_for_s3_file_job', 'crawler_for_employee_data', 'crawler_for_security_data'], 'ResponseMetadata': {'RequestId': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 14:04:03 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '830', 'connection': 'keep-alive', 'x-amzn-requestid': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d'}, 'RetryAttempts': 0}}
-
PythonでBoto3ライブラリを使用して、AWS S3に存在するバケットのリストを取得するにはどうすればよいですか?
問題の説明 − Pythonでboto3ライブラリを使用して、AWSに存在するすべてのバケットのリストを取得します。 例 −バケットの名前を取得します– BUCKET_1、BUCKET2、BUCKET_3 この問題を解決するためのアプローチ/アルゴリズム ステップ1 −例外を処理するためにboto3およびbotocore例外をインポートします。 ステップ2 −Boto3ライブラリを使用してAWSセッションを作成します。 ステップ3 −S3用のAWSリソースを作成する ステップ4 −関数buckets.all()を使用します バケット名を一覧表示します。 ステップ5 −不要な例外が
-
Pythonを使用して現在のディレクトリ内のすべてのサブディレクトリのリストを取得するにはどうすればよいですか?
ディレクトリ内のすべてのサブディレクトリのリストを再帰的に取得するには、os.walk関数を使用できます。最初のエントリがすべてのサブディレクトリである3つのタプルを返します。 次のように使用できます: import os subdirs = [x[0] for x in os.walk('.')] print(subdirs) os.listdir関数を使用してディレクトリ(即時のみ)を一覧表示し、os.path.isdir関数を使用して一覧をフィルタリングすることもできます。 例 import os d = '.' subdirs = [os.path.