超巨大ファイルを分割してAmazon S3へアップロードする方法

Amazon S3で超大容量ファイルを扱うには

Amazon S3に10GBを超えるような極めて大きなファイルを保存したい場合、あらかじめ適切に設定された仮想マシン(EC2インスタンス)を活用することで、安定したアップロードを実現できます。

S3には単一リクエストでアップロードできるサイズに上限があるため、大容量ファイルは「マルチパートアップロード」と呼ばれる分割アップロードの仕組みを利用するのが一般的です。

HTML5 File APIによるクライアント側での分割

HTML5のFile APIを使えば、ブラウザ上(クライアント側)で非常に大きなファイルを小さなチャンク(断片)に分割できます。

分割された各チャンクは順次サーバーへ送信され、サーバー側は受け取った断片をすべて結合し、完成したファイル全体をS3へ転送する役割を担います。

EC2とS3間の転送コスト

EC2とS3の間でデータをやり取りする際、同一リージョン内であればデータ転送料金は発生しません。これは大きなコストメリットですが、この構成を採用する場合は、大容量ファイルの送信処理のために2つのアプリケーション(クライアント側とサーバー側)を維持・管理する必要がある点に注意しましょう。

マルチパートアップロードの耐障害性

Amazonのマルチパートアップロードの大きな利点は、途中でチャンクのアップロードに失敗しても、そのパートだけを再試行(再開)できることです。ネットワークが不安定な環境でも、最初からやり直す必要がないため、効率的かつ堅牢なアップロードが可能になります。

5GBのファイルを1024個のパートに分割

たとえば5GBのデータであれば、約1024個の独立したパートに分割し、それぞれを個別にアップロードできます。すべてのパートのアップロードが完了した時点でS3上でファイルが組み立てられ、元の完全なファイルとして保存されます。

このようにファイル分割とマルチパートアップロードを組み合わせることで、超大容量ファイルでも確実かつ柔軟にAmazon S3へ保存できるのです。