PythonでBoto3ライブラリを使用してGlueジョブを実行するにはどうすればよいですか？

問題の説明 − Pythonでboto3ライブラリを使用して、接着ジョブを実行します。たとえば、ジョブrun_s3_file_jobを実行します。

この問題を解決するためのアプローチ/アルゴリズム

ステップ1 −例外を処理するためにboto3およびbotocore例外をインポートします。

ステップ2 − job_nameは必須パラメーターであり、argumentsは関数のオプションパラメーターです。実行するために引数を取るジョブはほとんどありません。その場合、引数はdictとして渡すことができます。

例：arguments ={‘arguments1’ =‘value1’、‘arguments2’ =‘value2’}

ジョブが引数を取らない場合は、job_nameを渡すだけです。

ステップ3 −boto3ライブラリを使用してAWSセッションを作成します。 region_nameがデフォルトのプロファイルに記載されていることを確認してください。言及されていない場合は、セッションの作成時にregion_nameを明示的に渡します。

ステップ4 −接着剤用のAWSクライアントを作成します。

ステップ5 −ここで、start_job_run関数を使用し、必要に応じてJobNameと引数を渡します。

ステップ6 −ジョブが開始されると、job_run_idにジョブのメタデータが提供されます。

ステップ7 −ジョブのチェック中に問題が発生した場合は、一般的な例外を処理します。

例

次のコードを使用して、既存の接着ジョブを実行します-

import boto3
from botocore.exceptions import ClientError

def run_glue_job(job_name, arguments = {}):
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
   return job_run_id
   except ClientError as e:
      raise Exception( "boto3 client error in run_glue_job: " + e.__str__())
   except Exception as e:
      raise Exception( "Unexpected error in run_glue_job: " + e.__str__())

print(run_glue_job("run_s3_file_job"))

出力

{'JobRunId':
'jr_5f8136286322ce5b7d0387e28df6742abc6f5e6892751431692ffd717f45fc00',
'ResponseMetadata': {'RequestId': '36c48542-a060-468b-83ccb067a540bc3c', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13
Feb 2021 13:36:50 GMT', 'content-type': 'application/x-amz-json-1.1',
'content-length': '82', 'connection': 'keep-alive', 'x-amzn-requestid':
'36c48542-a060-468b-83cc-b067a540bc3c'}, 'RetryAttempts': 0}}