Transfer Data from S3 to GCP Storage

整理如何快速把資料從 AWS S3 傳到 Google Cloud Storage 的步驟。

工作流程

在 AWS 建立 IAM User & Access Key
在 Cloud Storage 建立 Bucket
設定 Transfer Job

1. 建立 IAM User & Access Key

Google Cloud Storage 提供 Transfer Job 快速匯入資料，其中最方便的就是從 AWS S3 傳資料，首要步驟提供 Access Key，讓 Cloud Storage 執行 Job.

建立 IAM User
設定 IAM Policy，這邊設定 AmazonS3ReadOnlyAccess 這個權限
產生一組 Access Key and Secret Key

1.1 AWS Console -> Services -> IAM -> Add User

建立一個 IAM User，提供傳輸資料。

1.2 設定 IAM User 類型

這裡 IAM User 範例名稱為: aws-s3-to-gcp，需要 Access Key，所以 Access Type 選擇 Programmatic access

1.3 設定 IAM Policy

使用 AWS 預設的 Policy:

選擇 Attach existing policies directly
搜尋 S3
選擇 AmazonS3ReadOnlyAccess. 如果要允許傳輸完畢之後，刪除 Object，那就選擇 AmazonS3FullAccess

1.4 確認 IAM 設定

1.5 建立 IAM 帳號，取得 Access Key

建立 IAM 帳號，把 Access Key 和 Secret Access Key 存下來。

注意：Secret Access Key 只能看到一次，畫面關閉後，不能再查閱。

2. 在 Cloud Storage 建立 Bucket

2.1 GCP Console -> Storage -> Browser

在 GCP Console 找到 Storage

2.2 建立 Bucket

以下為範例：

Bucket Name: aws-gtcafe-us-east-2-temp-data
Default Storage Class: Regional
Regional Location: us-east-1

關於 Cloud Storage 簡單的介紹，請參閱 Experience GCP#Cloud Storage 的簡介。

3. 設定 Transfer Job

3.1 GCP Console -> Storage -> Transfer

3.1 Select Source

填入 S3 資訊：

Bucket Name
Access Key
Secret Access Key

3.2 Select Destination

選擇目標，這邊範例為 aws-gtcafe-us-east-2-temp-data。

如果想設定移轉完成後，刪除來源的 Object (如下圖)，那 IAM Policy 就要選 AmazonS3FullAccess

3.3 Config Transfer

設定傳輸的週期，一次性、還是固定週期。設定完成後就會開始從 S3 傳資料到 Cloud Storage。

Compare Google Cloud Storage and AWS S3

下圖是 Google Cloud Platform for AWS Professionals: Storage 比較 Cloud Storage 和 S3。

我覺得兩者的一些差異：

Cloud Storage 支援 Multi-regional，不需要管要從哪一個 region 複製。S3 則需要透過 Cross region replication 但是有點麻煩。
Cloud Storage 的 UI 反應很快，可以快速刪除整個 Bucket，使用感覺不錯。S3 UI 其實不怎麼好用，像是無法刪除整個 Bucket ，而是要透過 CLI 下 --recursive 才行。

更多 GCP 加值服務歡迎隨時聯繫 GCP 專門家，也可以至 GCP 技術部落格查看更多 GCP 最新消息與技術內容！