PythonのBoto3ライブラリを使用してAWS Glueジョブを実行する方法

はじめに

本記事では、Pythonのboto3ライブラリを使用して、AWS Glueのジョブを実行する方法を解説します。例として、「run_s3_file_job」という既存のGlueジョブを起動するケースを取り上げます。

解決のためのアプローチとアルゴリズム

ステップ1 − 例外ハンドリングのために、boto3とbotocoreの例外モジュールをインポートします。

ステップ2 − 関数のパラメータとして、job_nameは必須、argumentsは任意です。一部のジョブは実行時に引数を必要とします。その場合は、辞書型（dict）として引数を渡します。

例：arguments = {'argument1': 'value1', 'argument2': 'value2'}

ジョブが引数を必要としない場合は、job_nameだけを渡せば問題ありません。

ステップ3 − boto3ライブラリを使ってAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを指定する必要があります。

ステップ4 − Glue用のAWSクライアントを作成します。

ステップ5 − start_job_run関数を呼び出し、JobNameと（必要に応じて）Argumentsを渡してジョブを起動します。

ステップ6 − ジョブが起動すると、ジョブのメタデータとともにjob_run_idが返されます。このIDは、後からget_job_runなどでジョブの実行状況を確認する際に利用できます。

ステップ7 − ジョブの実行中に予期しない問題が発生した場合に備えて、汎用的な例外処理も実装しておきます。

サンプルコード

既存のGlueジョブを実行するには、以下のコードを使用します。

import boto3
from botocore.exceptions import ClientError

def run_glue_job(job_name, arguments = {}):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
        return job_run_id
    except ClientError as e:
        raise Exception("boto3 client error in run_glue_job: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in run_glue_job: " + e.__str__())

print(run_glue_job("run_s3_file_job"))

出力結果

{'JobRunId':
'jr_5f8136286322ce5b7d0387e28df6742abc6f5e6892751431692ffd717f45fc00',
'ResponseMetadata': {'RequestId': '36c48542-a060-468b-83ccb067a540bc3c', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 13:36:50 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '82', 'connection': 'keep-alive', 'x-amzn-requestid': '36c48542-a060-468b-83cc-b067a540bc3c'}, 'RetryAttempts': 0}}

コードのポイント

このスクリプトでは、まずboto3.session.Session()でAWSセッションを確立し、そこからclient('glue')を呼び出してGlueクライアントを生成しています。start_job_runメソッドを実行すると、Glueジョブは非同期で開始され、レスポンスとしてJobRunIdが返されます。HTTPステータスコードが200であれば、ジョブの起動リクエストが正常に受け付けられたことを意味します。なお、認証情報やリージョンの設定不備などAWS側でエラーが発生した場合はClientErrorとして捕捉され、それ以外の予期しないエラーも適切に例外として再送出されるようになっています。