S3 Batch Replication のジョブとレプリケーションルールは、何をいつまで複製するのか
まとめ
- ジョブは一度きりで終わる。作った時点の対象一覧を処理し切ると Complete になり、止めるまで動き続けるものではない
- ルールは置いた後の書き込みを、外すまで複製し続ける
- 両者は同じレプリケーション設定を見る。ジョブは行き先もロールも自分では持たない
- ルールを先に置き、反映を数分待ってからジョブを作れば取りこぼさない
ジョブとルールの違い
バージョニングが有効なバケットを過去の版ごと別アカウントへ移すとき、aws s3 sync は現在の版しか運ばない。過去の版と削除マーカーを運ぶには、移す元のバケットにレプリケーションルールを置き、S3 Batch Operations のジョブで既存の版を複製する。
表1: ジョブとルールの違い
| 項目 | ジョブ | ルール |
|---|---|---|
| 見る定義 | 移す元のバケットのレプリケーション設定 | 同じ |
| 対象 | ジョブを作った時点で元のバケットにある版 | ルールを置いた後に書かれた版 |
| 終わる条件 | 一覧を処理し切ると Complete。失敗が多すぎれば Failed、中止すれば Cancelled | 外すまで終わらない |
| バージョン ID | 元と同じ ID で複製先に入る | 同じ |
ジョブは設定を借りて動く
ジョブの作成は次の形になる。$SOURCE_BUCKET_ARN などは移す元のバケット、レポート用バケット、Batch Operations 用ロールの ARN に置き換える。
aws s3control create-job \
--account-id <元のアカウント ID> \
--operation '{"S3ReplicateObject": {}}' \
--manifest-generator '{"S3JobManifestGenerator": {
"ExpectedBucketOwner": "<元のアカウント ID>",
"SourceBucket": "'"$SOURCE_BUCKET_ARN"'",
"EnableManifestOutput": false,
"Filter": {"EligibleForReplication": true}}}' \
--report '{"Bucket": "'"$REPORT_BUCKET_ARN"'", "Prefix": "<prefix>",
"Format": "Report_CSV_20180820", "Enabled": true, "ReportScope": "AllTasks"}' \
--priority 1 \
--role-arn "$BATCH_ROLE_ARN" \
--no-confirmation-required--operation の S3ReplicateObject は中身が空で、行き先のバケットも複製に使うロールも書く場所が無い。ジョブは、元のバケットに置いたレプリケーション設定の行き先・ロール・所有者の上書き・削除マーカーの扱いに従って複製する。--role-arn に渡すロールが要るのは、ジョブを始めることと完了レポートを書くことだけで、複製先へ書き込むのは設定にある複製用のロールになる。
そのため、ジョブより先にレプリケーション設定が無ければならない。ドキュメントにも “Your source bucket must have an existing replication configuration.” とある。
EligibleForReplication は状態で絞らない
一覧の条件に使う EligibleForReplication は、名前から「まだ複製されていないもの」に見えるが、そうではない。API リファレンスの定義は次のとおり。
Include objects in the generated manifest only if they are eligible for replication according to the Replication configuration on the source bucket. — AWS CLI リファレンス: s3control create-job
見ているのはルールの範囲(prefix とタグ)で、複製の状態ではない。状態で絞るのは別の条件 ObjectReplicationStatuses(NONE / FAILED / COMPLETED / REPLICA)で、指定しなければ状態に関係なく、ルールに当たる版がすべて一覧に入る。ルールで複製済みの版(COMPLETED)も入ってもう一度複製されるが、複製先では同じバージョン ID なので版は増えない。
置く順番と取りこぼし
ルールを置いてからジョブを作るまでの間にアップロードがあっても、取りこぼしは出ない。
表2: アップロードの時点ごとに、何が運ぶか
| アップロードの時点 | 運ぶもの |
|---|---|
| ルールを置く前 | ジョブ |
| ルールを置いてからジョブを作るまで | ルール。ジョブの一覧にも入る |
| ジョブを作った後 | ルール |
ルールを置いた直後は設定の反映に数分かかり、その間のアップロードはルールで複製されないことがある。それでも状態は NONE のまま元のバケットに残るので、後から作るジョブの一覧に入る。ドキュメントも、設定を変えた直後は数分待ってから、S3 が作る一覧でジョブを作るよう勧めている。手元で設定の直後にジョブを作ったときは、一覧の対象が 0 件になってジョブが失敗した。
逆に、ジョブの一覧を先に作ってからルールを置くと、その間のアップロードはどちらにも入らない。一覧は作った時点で固定されていて、ルールは置く前の書き込みを見ないためだ。もっとも、設定が無ければジョブ自体が作れないので、この順番は実際には起こりにくい。
ルールが複製しない削除
ルールが複製する削除は、削除マーカーが付く削除だけになる(削除マーカーの複製を有効にした場合)。version id を指定して版そのものを消す削除は、複製先へ伝わらない(What isn’t replicated)。ルールを置いた後に元のバケットで version id を指定して版を消すと、その版は複製先に残る。