はじめに

こんにちは、takasaです。

Windows Serverをファイルサーバーとして利用する場合、重複排除機能を利用することができます。
重複排除機能を設定するとファイルに含まれる重複データが最適化されてストレージの使用領域を削減し、より多くのファイルを保存することができます。
こちらの機能はAmazon FSx for Windows File Serverでもエンドポイントより接続して設定することができます。

しかし重複排除を利用しているサーバーから別のストレージへ移行する際に、Robocopyを使用すると最適化されたファイルが破損することがあります。

Robocopy

特定の Robocopy コマンドによってチャンク ストアが破損することがあるため、データ重複除去での Robocopy の実行はお勧めしません。チャンク ストアは、ボリュームのシステム ボリューム情報フォルダーに格納されます。 データ チャンクは移行先ボリュームにコピーされないため、フォルダーが削除されると、ソース ボリュームからコピーされた最適化済みファイル (再解析ポイント) が破損します。

出典 : データ重複除去の相互運用性 サポートされていない

この場合は重複排除によるファイルの最適化を解除する必要があるため、その解除方法を本ブログに記載します。

1.事前確認

重複排除を解除するということは、最適化されたファイルの使用量を元に戻すということです。
そのため事前にFSxの使用率と空き容量を確認する必要があり、AWSのWebコンソールのFSxの重複排除の状況からの確認やファイルのプロパティの確認などでおおよその目安を把握します。
なお、プロパティで確認できる「サイズ」で表示されるファイルの容量と「ディスク上のサイズ」で表示されるファイルが使用するストレージ容量は若干異なり、解除後の正確な値の把握が困難なため十分な空き容量を確保してください。

今回使用しているFSxのスペックは下記の通りです。

2.解除コマンドの実行

解除後のおおよそのストレージ使用量の把握と空き容量の確保を行ったら重複排除設定の解除処理を実行します。
FSxのコマンドにはStart-DedupJobにあたるコマンドは無いため、「New-FSxDedupSchedule」にて解除処理をスケジュールに新規設定します。

▼コマンド例
New-FSxDedupSchedule -Name "Unoptimization" -Type Unoptimization -Days 曜日 -Start 実行時間(UTC)

※金曜日の11:45(JST)に実行したい場合は「New-FSxDedupSchedule -Name "Unoptimization" -Type Unoptimization -Days Fri -Start 02:45」で設定します。

即時実行する場合は現在時刻の数分後で設定しますが、本処理についてはFSxのCPU等のリソースを消費するため業務時間外等必要に応じて設定を行います。

処理が開始するとFSxのストレージ使用率が上がっていきます。進捗状況は重複排除処理と同じくGet-FSxDedupJobで確認できます。

処理が完了したら重複排除処理が行われていたファイルが元のサイズに戻ります。

なお、今回の解除処理中のパフォーマンスは以下の通りでした。

また併せて重複排除設定が無効化され、以降の重複排除処理については再度有効化しないと実行はされません。

しかし重複排除を再設定した際に重複排除設定の解除処理が行われてしまう可能性もあるため、念のためUnoptimizationのスケジュール設定を削除しておきましょう。

失敗例

なお、解除後の使用率がFSxの容量を上回った場合、FSxの使用率が100%に到達してすべての最適化されたファイルが元に戻らず処理が失敗します。

3.まとめ

重複排除処理については、使用を途中でやめる場合はそのままDisableをすることで、既に重複排除されてしまったファイルはそのままに使用することができます。
しかしRobocopy等で重複排除された環境のファイルをコピーする場合、重複排除データを格納したチャンクストアがコピーされないため、重複排除されたファイルのコピーが上手くいかない可能性があります。
なかなか使う機会も無いかも知れませんが、万が一の時に頭の片隅に残っていたら幸いです。