Boto3を使ってAWS Glueデータカタログからユーザー定義関数の詳細を取得する方法

この記事では、AWS Glueデータカタログから指定したユーザー定義関数（UDF）の定義情報を取得する方法を解説します。

例

データベース employee 内にある insert_employee_record という名前の関数定義の詳細を取得します。

課題： Pythonの boto3 ライブラリを使用して、AWS Glueデータカタログから指定された関数定義の詳細を取得することです。

解決のためのアプローチ／アルゴリズム

• ステップ1： 例外を処理するために boto3 および botocore の例外モジュールをインポートします。

• ステップ2： 必須パラメータは database_name と function_name です。これにより、指定したデータベース内の対象関数の定義情報を取得できます。

• ステップ3： boto3ライブラリ を使ってAWSセッションを作成します。デフォルトプロファイルに region_name が設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的に region_name を渡す必要があります。

• ステップ4： glue 用のAWSクライアントを作成します。

• ステップ5： get_user_defined_function を呼び出し、database_name を DatabaseName パラメータに、function_name を FunctionName パラメータとして渡します。

• ステップ6： 指定した関数の定義が返されます。該当する関数が見つからない場合はエラーが発生します。

• ステップ7： 関数の確認中に問題が発生した場合に備え、汎用例外を処理します。

サンプルコード

以下のコードは、指定された関数の定義情報を取得します。

import boto3
from botocore.exceptions import ClientError

def get_function_definition(database_name, function_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_user_defined_function(DatabaseName=database_name, FunctionName=function_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in get_function_definition: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in get_function_definition: " + e.__str__())

a = get_function_definition('employee', 'insert_employee_record')
print(a)

出力結果

{
    'UserDefinedFunctions': {
        'FunctionName': 'insert_employee_record',
        'DatabaseName': 'employee',
        'ClassName': 'InsertEmployee',
        'OwnerName': 'string',
        'OwnerType': 'USER'|'ROLE'|'GROUP',
        'CreateTime': datetime(2021, 03, 15),
        'ResourceUris': [
            {
                'ResourceType': 'JAR'|'FILE'|'ARCHIVE',
                'Uri': 'string'
            },
        ],
    }
}

このように、boto3の get_user_defined_function APIを使えば、Glueデータカタログに登録されたUDFのクラス名、所有者、作成日時、リソースURIなどの詳細情報を簡単に取得できます。関数が存在しない場合は EntityNotFoundException が発生するため、本番環境では適切な例外ハンドリングを実装することが重要です。