Boto3を使ってAWS Glueジョブのブックマークをリセットする手順を解説

本記事では、Pythonのboto3ライブラリを使用して、AWSアカウント内のジョブブックマークをリセットする方法を解説します。AWS Glueのジョブブックマークは、前回の処理で読み込んだデータの位置を記録する機能ですが、再処理やテストの際にはこの情報をクリアしたいケースがあります。

実装例

AWS Glue Data Catalogに登録されているジョブのブックマークをリセットしてみましょう。

課題： Pythonのboto3ライブラリを使って、指定したジョブのブックマークをリセットします。

解決のためのアプローチとアルゴリズム

• ステップ1： 例外処理のためにboto3とbotocoreの例外モジュールをインポートします。

• ステップ2： 関数のパラメータとしてjob_name（ジョブ名）を受け取ります。

• ステップ3： boto3ライブラリを使用してAWSセッションを作成します。デフォルトプロファイルにregion_nameが設定されていることを確認してください。設定されていない場合は、セッション作成時に明示的にregion_nameを渡す必要があります。

• ステップ4： glueサービス用のAWSクライアントを作成します。

• ステップ5： reset_job_bookmark関数を呼び出し、パラメータjob_nameをJobNameとして渡します。

• ステップ6： ジョブブックマークエントリの詳細を含む辞書（dict）が返されます。

• ステップ7： ブックマークのリセット中に問題が発生した場合に備え、汎用的な例外処理を実装します。

サンプルコード

以下のコードは、ジョブのブックマークをリセットします。

import boto3
from botocore.exceptions import ClientError

def reset_bookmark_of_a_job(job_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.reset_job_bookmark(JobName=job_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in reset_bookmark_of_a_job: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in reset_bookmark_of_a_job: " + e.__str__())

print(reset_bookmark_of_a_job("test_job"))

実行結果

{'JobBookmarkEntry':
{'JobName': 'test-job', 'Version': 3, 'Run': 3, 'Attempt': 0, 'JobBookmark': ''},
'ResponseMetadata': {'RequestId': '03d40d90-******************f', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Mar 2021 10:14:58 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '104', 'connection': 'keep-alive', 'x-amzn-requestid': '03d40d90-***************************f'}, 'RetryAttempts': 0}}

レスポンスのJobBookmarkEntryには、対象ジョブの名前やバージョンなどの情報が含まれており、JobBookmarkが空文字列になっていることから、ブックマークが正常にリセットされたことが確認できます。また、HTTPStatusCode: 200が返っていれば、API呼び出しが成功したことを意味します。