Boto3を使ってAWS Glue Data Catalogから複数の関数定義の詳細を取得する方法

この記事では、AWS Glue Data Catalogから複数の関数定義の詳細情報を取得する方法を解説します。

例題

課題： Pythonのboto3ライブラリを使用して、AWS Glue Data Catalog内のデータベースに存在する複数のユーザー定義関数の詳細情報を取得します。

解決のためのアプローチとアルゴリズム

• ステップ1： 例外処理を行うために、boto3とbotocoreの例外モジュールをインポートします。

• ステップ2： database_name(データベース名)とregular_pattern(正規表現パターン)はどちらも任意のパラメータです。両方とも指定しない場合、AWSアカウント内のすべての関数定義が取得されます。database_nameのみ指定した場合は、そのデータベース内のすべての関数が取得されます。両方のパラメータを指定した場合は、regular_patternに一致する関数の定義のみが取得されます。regular_patternのみ指定した場合は、AWSアカウント全体からパターンに一致するすべての関数が取得されます。

• ステップ3： boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_name(リージョン名)が設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

• ステップ4： AWS Glue用のクライアントを作成します。

• ステップ5： get_multiple_function_definition関数を呼び出し、database_nameをDatabaseNameパラメータとして、regular_patternをPatternパラメータとして渡します。

• ステップ6： 指定されたパラメータに基づいて、複数の関数定義が返されます。

• ステップ7： 関数の確認中に問題が発生した場合に備えて、汎用例外を処理します。

サンプルコード

以下のコードは、複数の関数定義を取得します。

import boto3
from botocore.exceptions import ClientError

def get_multiple_function_definition(database_name=None, regular_pattern=None):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_user_defined_functions(DatabaseName=database_name, Pattern=regular_pattern)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in get_multiple_function_definition: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in get_multiple_function_definition: " + e.__str__())

a = get_multiple_function_definition('employee')
print(a)

実行結果

{
    'UserDefinedFunctions': [{
        'FunctionName': 'insert_employee_record',
        'DatabaseName': 'employee',
        'ClassName': 'InsertEmployee',
        'OwnerName': 'string',
        'OwnerType': 'USER'|'ROLE'|'GROUP',
        'CreateTime': datetime(2021,03,15),
        'ResourceUris': [
            {
                'ResourceType': 'JAR'|'FILE'|'ARCHIVE',
                'Uri': 'string'
            },
        ]
    }]
}