Azcopy Sync同步Azure文件共享

🕗 发布于 2024-07-14 08:29 azure microsoft

Azcopy Sync同步Azure文件共享

使用场景：为了在不使用Azure Fileshare（文件共享）的GRS冗余的情况下，实现两个不同存储账户的Azure Fileshare的数据同步，且为了尽量节省带宽和出站流量，使用增量同步

azcopy sync 是 AzCopy 工具中的一个命令，用于在两个存储位置之间进行增量同步。它会比较源位置和目标位置的文件，仅复制源位置中新创建或修改的文件，并删除目标位置中不再存在于源位置中的文件，以确保两者的一致性。

假设你有一个源文件共享和一个目标文件共享，初次同步后，只会复制源文件共享中所有的文件。第二次同步时，只有源文件共享中新添加或修改的文件会被复制到目标文件共享，并且目标文件共享中不在源文件共享中的文件会被删除。

一、工作原理

比较源和目标：
- azcopy sync 会比较源和目标位置的文件，根据文件的修改时间和大小来决定哪些文件需要复制、更新或删除。
增量复制：
- 只有在源位置中新创建或修改的文件才会被复制到目标位置。
删除目标中的多余文件：
- 如果在目标位置中发现有不在源位置中的文件，azcopy sync 会根据设置删除这些文件，以保持源和目标的一致性。

二、安装 AzCopy

在 Windows 上

下载 AzCopy：
- 访问 AzCopy 下载页面。
- 下载适用于 Windows 的 AzCopy ZIP 文件。
安装 AzCopy：
- 解压下载的 ZIP 文件。
- 将 azcopy.exe 复制到一个常用目录，例如 C:\Program Files (x86)\AzCopy。
添加到系统路径：
- 打开“系统属性”对话框。
- 点击“高级系统设置”。
- 点击“环境变量”按钮。
- 在“系统变量”部分，找到 Path 变量，并点击“编辑”。
- 点击“新建”，并添加 AzCopy 安装目录的路径（例如 C:\Program Files (x86)\AzCopy）。
- 点击“确定”保存更改。
验证安装：
- 打开命令提示符或 PowerShell。
- 运行 azcopy 命令，确保显示 AzCopy 的帮助信息。

在 Linux 上

下载 AzCopy：

    wget https://aka.ms/downloadazcopy-v10-linux -O azcopy_linux.tar.gz

安装 AzCopy：

    tar -xvf azcopy_linux.tar.gz  
      
    sudo mv azcopy_linux_amd64_10.25.1/azcopy /usr/local/bin/

验证安装：

    azcopy --version

三、资源准备

1. 创建源和目标 Azure 存储账户

2. 创建源和目标文件共享

3. 确定路径

确定你要同步的文件和目录路径：

源路径：指向源文件共享中的具体目录或文件。
目标路径：指向目标文件共享中的具体目录。

4. 生成源和目的存储账户的共享访问签名（SAS）令牌

共享访问签名 (SAS) 令牌是一个 URI，可以授予有限时间内对 Azure 存储资源的访问权限。SAS 令牌为你提供了一种安全的方式来授予客户端对存储资源的细粒度访问，而无需共享存储帐户密钥。通过使用 SAS 令牌，你可以控制客户端对资源的访问权限，包括允许的操作、资源的类型、访问的开始时间和到期时间等。

生成 SAS 令牌以提供对存储资源的访问权限：

导航到存储账户：
- 在 Azure 门户中，选择你创建的存储账户。
生成 SAS 令牌：
- 在存储账户页面的左侧菜单中选择“共享访问签名”。

配置权限

选择服务：
- 选择 文件 服务，因为 azcopy sync 是用于 Azure 文件共享的同步操作。
选择资源类型：
- 勾选 服务, 容器 和 对象。这确保你可以访问文件共享中的所有资源。
选择权限：
- 勾选以下权限：
  - 读 (读)
  - 写 (写)
  - 删除 (删除)
  - 列表 (列出)
- 这些权限确保 azcopy sync 命令可以读取、写入、删除和列出文件共享中的文件。
设置有效期：
- 配置 开始日期/时间 和 结束日期/时间。
- 例如，设置开始时间为当前时间，结束时间为你希望的有效期结束时间。
设置 IP 地址（可选）：
- 你可以指定允许访问的 IP 地址范围。如果不需要限制特定 IP，可以留空。
选择协议：
- 选择 HTTPS 或 HTTPS 和 HTTP。为了安全性，建议选择 HTTPS。
生成 SAS 令牌：
- 配置完成后，点击页面底部的 生成 SAS 和连接字符串 按钮。
获取 SAS 令牌和 URL：
- 页面会显示生成的 SAS 令牌和 URL。
- 将生成的 SAS 令牌附加到你的源和目标 URL 中，用于 azcopy sync 命令。

在这里插入图片描述

示例生成的 URL

假设你的存储帐户名为 mystorageaccount，文件共享名为 myfileshare，路径为 path/to/dir，生成的 SAS 令牌为 sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature。

你将生成的 SAS 令牌如下所示：


SOURCE_URL="https://mystorageaccount.file.core.windows.net/myfileshare/path/to/dir?sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature"  

DESTINATION_URL="https://mystorageaccount.file.core.windows.net/myfileshare/path/to/dir?sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature"

四、Azcopy Syn 运行命令

Bash 示例

azcopy sync "https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]" "https://[destinationaccount].file.core.chinacloudapi.cn/[destinationshare]?[destination_sas]" \
  --recursive=true \
  --delete-destination=true \
  --preserve-permissions=true \
  --preserve-smb-info=true

PowerShell 示例

azcopy sync "https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]" "https://[destinationaccount].file.core.chinacloudapi.cn/[destinationshare]?[destination_sas]" `
  --recursive=true `
  --delete-destination=true `
  --preserve-permissions=true `
  --preserve-smb-info=true

如果是国际版 Azure，只需将域名部分从 .file.core.chinacloudapi.cn 改为 .file.core.windows.net。

# 国际版 Azure
"https://[sourceaccount].file.core.windows.net/[sourceshare]?[source_sas]"

# 世纪互联版 Azure
"https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]"

必须开启的参数

–recursive=true：
- 递归地同步所有子目录和文件。这是默认行为，但明确指定有助于确保所有子目录和文件都被包含在同步操作中。
–delete-destination=true：
- 删除目标位置中不在源位置中的文件，以确保源和目标的一致性。
–preserve-permissions=true：
- 保留文件和目录的权限信息。这在需要保持文件权限设置的环境中尤为重要。
–preserve-smb-info=true：
- 保留 SMB 信息（如时间戳、属性等），以确保文件和目录的元数据在同步后保持一致。

可选择开启的参数

--overwrite=ifSourceNewer
- 仅在源文件比目标文件更新时才覆盖目标文件。这有助于减少不必要的数据传输。
- 确保源和目标存储账户的时间戳准确。如果服务器时间不同步，可能会导致不必要的文件传输或漏传文件
--check-md5
- 在比较文件时检查 MD5 哈希值。这可以确保文件内容的完全一致性，传输后的文件与源文件完全一致，防止数据损坏
- 计算 MD5 哈希值会增加 CPU 和时间开销，特别是对于大文件或大量文件的同步操作。
--put-md5
- 在上传时为文件计算 MD5 哈希值，并将其作为文件的 Content-MD5 属性保存。适用于确保数据传输完整性的场景。
--cap-mbps=<rate>
- 限制传输速率，指定传输速率的上限（以 Mbps 为单位）。适用于需要控制带宽使用的场景。
--exclude-path=<path1;path2>
- 排除指定的路径，在同步过程中忽略这些路径。适用于需要排除特定目录的场景。
--include-pattern=<pattern1;pattern2>
- 仅包含符合指定模式的文件进行同步。适用于需要同步特定类型文件的场景。
--exclude-pattern=<pattern1;pattern2>
- 排除符合指定模式的文件。在同步过程中忽略这些文件。
--from-to=<sourceDestinationType>
- 指定源和目标的类型（如 LocalBlob、BlobLocal 等）。在无法自动检测源和目标类型时使用。

例如，如果性能非常关键且数据一致性要求不高，可以考虑不使用 --check-md5 和 --put-md5。

五、基础脚本

Bash 脚本（适用于 Linux）

#!/bin/bash  
  
# 定义变量  
ACCOUNT_TYPE="international" # 国际版或国内版Azure: "international", "china"  
SOURCE_ACCOUNT="[source_account]"  
SOURCE_SHARE="[source_share]"  
SOURCE_PATH="[path/to/source/dir]"  
SOURCE_SAS="[source_SAS]"  
  
DESTINATION_ACCOUNT="[destination_account]"  
DESTINATION_SHARE="[destination_share]"  
DESTINATION_PATH="[path/to/destination/dir]"  
DESTINATION_SAS="[destination_SAS]"  
  
# 根据账号类型设置域名  
if [ "$ACCOUNT_TYPE" == "china" ]; then  
    SOURCE_DOMAIN=".file.core.chinacloudapi.cn"  
    DESTINATION_DOMAIN=".file.core.chinacloudapi.cn"  
else  
    SOURCE_DOMAIN=".file.core.windows.net"  
    DESTINATION_DOMAIN=".file.core.windows.net"  
fi  
  
SOURCE_URL="https://$SOURCE_ACCOUNT$SOURCE_DOMAIN/$SOURCE_SHARE/$SOURCE_PATH?$SOURCE_SAS"  
DESTINATION_URL="https://$DESTINATION_ACCOUNT$DESTINATION_DOMAIN/$DESTINATION_SHARE/$DESTINATION_PATH?$DESTINATION_SAS"  
  
# 打印URL以供调试  
echo "Source URL: $SOURCE_URL"  
echo "Destination URL: $DESTINATION_URL"  
  
# 执行 azcopy sync 命令  
azcopy sync "$SOURCE_URL" "$DESTINATION_URL" \  
  --recursive=true \  
  --delete-destination=true \  
  --preserve-permissions=true \  
  --preserve-smb-info=true

PowerShell 脚本（适用于 Windows）

# 定义变量  
$accountType = "international" # 国际版或国内版Azure: "international", "china"  
$sourceAccount = "[source_account]"  
$sourceShare = "[source_share]"  
$sourcePath = "[path/to/source/dir]"  
$sourceSas = "[source_SAS]"  
  
$destinationAccount = "[destination_account]"  
$destinationShare = "[destination_share]"  
$destinationPath = "[path/to/destination/dir]"  
$destinationSas = "[destination_SAS]"  
  
# 根据账号类型设置域名  
if ($accountType -eq "china") {  
    $sourceDomain = ".file.core.chinacloudapi.cn"  
    $destinationDomain = ".file.core.chinacloudapi.cn"  
} else {  
    $sourceDomain = ".file.core.windows.net"  
    $destinationDomain = ".file.core.windows.net"  
}  
  
$sourceUrl = "https://$($sourceAccount)$($sourceDomain)/$($sourceShare)/$($sourcePath)?$($sourceSas)"  
$destinationUrl = "https://$($destinationAccount)$($destinationDomain)/$($destinationShare)/$($destinationPath)?$($destinationSas)"  
  
# 打印URL以供调试  
Write-Output "Source URL: $sourceUrl"  
Write-Output "Destination URL: $destinationUrl"  
  
# 执行 azcopy sync 命令  
azcopy sync $sourceUrl $destinationUrl `  
  --recursive=true `  
  --delete-destination=true `  
  --preserve-permissions=true `  
  --preserve-smb-info=true

六、进阶脚本

Bash 脚本（适用于 Linux 和 macOS）

#!/bin/bash  
  
# 配置变量  
ACCOUNT_TYPE="international" # 国际版或国内版Azure: "international", "china"  
SOURCE_ACCOUNT="your_source_account" # 源存储账户名称  
SOURCE_SHARE="your_source_share" # 源文件共享名称  
SOURCE_PATH="" # 源文件共享中的路径，选择根目录的话空着就好  
SOURCE_SAS="your_source_sas_token" # 源存储账户的SAS令牌  
  
DESTINATION_ACCOUNT="your_destination_account" # 目标存储账户名称  
DESTINATION_SHARE="your_destination_share" # 目标文件共享名称  
DESTINATION_PATH="" # 目标文件共享中的路径  
DESTINATION_SAS="your_destination_sas_token" # 目标存储账户的SAS令牌  
  
# 参数验证，检查所有必要的变量是否已定义  
for var in SOURCE_ACCOUNT SOURCE_SHARE SOURCE_SAS DESTINATION_ACCOUNT DESTINATION_SHARE DESTINATION_SAS; do  
    if [ -z "${!var}" ]; then  
        echo "Error: $var is not set."  
        exit 1  
    fi  
done  
  
# 根据账号类型设置域名，区分国际版和国内版Azure  
if [ "$ACCOUNT_TYPE" == "china" ]; then  
    DOMAIN=".file.core.chinacloudapi.cn"  
else  
    DOMAIN=".file.core.windows.net"  
fi  
  
# 拼接完整的源和目标URL  
SOURCE_URL="https://$SOURCE_ACCOUNT$DOMAIN/$SOURCE_SHARE"  
DESTINATION_URL="https://$DESTINATION_ACCOUNT$DOMAIN/$DESTINATION_SHARE"  
  
if [ -n "$SOURCE_PATH" ]; then  
    SOURCE_URL="$SOURCE_URL/$SOURCE_PATH"  
fi  
SOURCE_URL="$SOURCE_URL?$SOURCE_SAS"  
  
if [ -n "$DESTINATION_PATH" ]; then  
    DESTINATION_URL="$DESTINATION_URL/$DESTINATION_PATH"  
fi  
DESTINATION_URL="$DESTINATION_URL?$DESTINATION_SAS"  
  
# 打印URL以供调试  
echo "Source URL: $SOURCE_URL"  
echo "Destination URL: $DESTINATION_URL"  
  
# 日志文件路径  
LOG_DIR="/var/log/azcopy"  
LOG_FILE="$LOG_DIR/azcopy_sync.log"  
  
# 只在初次运行时创建日志目录（如果不存在）  
if [ ! -d "$LOG_DIR" ]; then  
    mkdir -p "$LOG_DIR"  
fi  
  
# 设置 AzCopy 的日志位置  
export AZCOPY_LOG_LOCATION="$LOG_DIR"  
  
# 执行 azcopy sync 命令  
azcopy sync "$SOURCE_URL" "$DESTINATION_URL" \  
  --recursive=true \  
  --delete-destination=true \  
  --preserve-permissions=true \  
  --preserve-smb-info=true \  
  --log-level=INFO  
  
# 检查 azcopy 命令的退出状态  
if [ $? -ne 0 ]; then  
    echo "Error: azcopy sync failed. Check the log file for details: $LOG_FILE"  
    exit 1  
fi  
  
echo "azcopy sync completed successfully."

PowerShell 脚本（适用于 Windows）


# 定义变量  
$accountType = "international" # 国际版：international,国内版Azure: "china"  
$sourceAccount = "your_source_account" # 源存储账户名称  
$sourceShare = "your_source_share" # 源文件共享名称  
$sourcePath = "" # 源文件共享中的路径，选择根目录的话空着就好  
$sourceSas = "your_source_sas_token" # 源存储账户的SAS令牌  
  
$destinationAccount = "your_destination_account" # 目标存储账户名称  
$destinationShare = "your_destination_share" # 目标文件共享名称  
$destinationPath = "" # 目标文件共享中的路径  
$destinationSas = "your_destination_sas_token" # 目标存储账户的SAS令牌  
  
$enableLogging = $true # # 是否启用日志记录（设置为 $false 以禁用日志）  
  
# 根据账号类型设置域名  
if ($accountType -eq "china") {  
    $sourceDomain = ".file.core.chinacloudapi.cn"  
    $destinationDomain = ".file.core.chinacloudapi.cn"  
} else {  
    $sourceDomain = ".file.core.windows.net"  
    $destinationDomain = ".file.core.windows.net"  
}  
  
# 拼接完整的源和目标URL  
$sourceUrl = "https://$($sourceAccount)$($sourceDomain)/$($sourceShare)/$($sourcePath)?$($sourceSas)"  
$destinationUrl = "https://$($destinationAccount)$($destinationDomain)/$($destinationShare)/$($destinationPath)?$($destinationSas)"  
  
# 打印URL以供调试  
Write-Output "Source URL: $sourceUrl"  
Write-Output "Destination URL: $destinationUrl"  
  
# 配置 AzCopy 命令  
$azCopyCommand = @(  
    "azcopy sync",  
    "`"$sourceUrl`"",  
    "`"$destinationUrl`"",  
    "--recursive=true",  
    "--delete-destination=true",  
    "--preserve-permissions=true",  
    "--preserve-smb-info=true"  
)  
  
if ($enableLogging) {  
    # 设置日志文件路径  
    $logDir = "C:\Logs\azcopy"  
    $logFile = "$logDir\azcopy_sync.log"  
    # 只在初次运行时创建日志目录（如果不存在）  
    if (-not (Test-Path $logDir)) {  
        New-Item -ItemType Directory -Path $logDir -Force  
    }  
  
    # 设置 AzCopy 的日志位置  
    $env:AZCOPY_LOG_LOCATION = $logDir  
  
    # 添加日志参数  
    $azCopyCommand += "--log-level=INFO"  
}  
  
# 输出命令以供调试  
Write-Output "Executing command: $($azCopyCommand -join ' ')"  
  
# 执行命令  
$azCopyOutput = Invoke-Expression -Command ($azCopyCommand -join ' ')  
  
# 打印命令输出  
Write-Output $azCopyOutput  
  
# 检查 azcopy 命令的退出状态  
if ($LASTEXITCODE -ne 0) {  
    if ($enableLogging) {  
        Write-Output "Error: azcopy sync failed. Check the log file for details: $logFile"  
    } else {  
        Write-Output "Error: azcopy sync failed."  
    }  
    exit 1  
}  
  
Write-Output "azcopy sync completed successfully."

脚本说明

Bash 脚本

变量定义：定义了源和目标存储账户、共享路径、SAS 令牌等信息。
参数验证：检查必要的变量是否已设置。
URL 拼接：根据账号类型设置域名，并拼接完整的源和目标 URL。
日志记录：创建日志目录，并将日志记录在本地指定路径。
错误处理：检查 azcopy sync 命令的退出状态，并在失败时输出错误信息。

PowerShell 脚本

变量定义：定义了源和目标存储账户、共享路径、SAS 令牌等信息。
参数验证：检查必要的变量是否已设置。
URL 拼接：根据账号类型设置域名，并拼接完整的源和目标 URL。
日志记录：创建日志目录，并将日志记录在本地指定路径。
错误处理：检查 azcopy sync 命令的退出状态，并在失败时输出错误信息。

示例脚本：结合推荐和可选参数

下面是一个结合了推荐和可选参数的 PowerShell 脚本模板：

# 配置变量  
$AccountType = "international" # 国际版或国内版Azure: "international", "china"  
$SourceAccount = "your_source_account" # 源存储账户名称  
$SourceShare = "your_source_share" # 源文件共享名称  
$SourcePath = "" # 源文件共享中的路径，选择根目录的话空着就好  
$SourceSas = "your_source_sas_token" # 源存储账户的SAS令牌  
  
$DestinationAccount = "your_destination_account" # 目标存储账户名称  
$DestinationShare = "your_destination_share" # 目标文件共享名称  
$DestinationPath = "" # 目标文件共享中的路径  
$DestinationSas = "your_destination_sas_token" # 目标存储账户的SAS令牌  
  
# 参数验证，检查所有必要的变量是否已定义  
$RequiredVariables = @("SourceAccount", "SourceShare", "SourceSas", "DestinationAccount", "DestinationShare", "DestinationSas")  
foreach ($var in $RequiredVariables) {  
    if (-not (Get-Variable -Name $var -ValueOnly)) {  
        Write-Host "Error: $var is not set."  
        exit 1  
    }  
}  
  
# 根据账号类型设置域名，区分国际版和国内版Azure  
if ($AccountType -eq "china") {  
    $Domain = ".file.core.chinacloudapi.cn"  
} else {  
    $Domain = ".file.core.windows.net"  
}  
  
# 拼接完整的源和目标URL  
$SourceUrl = "https://$SourceAccount$Domain/$SourceShare"  
$DestinationUrl = "https://$DestinationAccount$Domain/$DestinationShare"  
  
if ($SourcePath -ne "") {  
    $SourceUrl = "$SourceUrl/$SourcePath"  
}  
$SourceUrl = "$SourceUrl?$SourceSas"  
  
if ($DestinationPath -ne "") {  
    $DestinationUrl = "$DestinationUrl/$DestinationPath"  
}  
$DestinationUrl = "$DestinationUrl?$DestinationSas"  
  
# 打印URL以供调试  
Write-Host "Source URL: $SourceUrl"  
Write-Host "Destination URL: $DestinationUrl"  
  
# 日志文件路径  
$LogDir = "C:\Logs\azcopy"  
$LogFile = "$LogDir\azcopy_sync.log"  
  
# 只在初次运行时创建日志目录（如果不存在）  
if (-not (Test-Path $LogDir)) {  
    New-Item -ItemType Directory -Path $LogDir -Force  
}  
  
# 设置 AzCopy 的日志位置  
$env:AZCOPY_LOG_LOCATION = $LogDir  
  
# 执行 azcopy sync 命令  
$azCopyCommand = @(  
    "azcopy sync",  
    "`"$SourceUrl`"",  
    "`"$DestinationUrl`"",  
    "--recursive=true",  
    "--delete-destination=true",  
    "--preserve-permissions=true",  
    "--preserve-smb-info=true",  
    "--log-level=INFO",  
    "--cap-mbps=50",  # 限制带宽为 50 Mbps  
    "--check-md5=FailIfDifferent",  # 下载时严格验证 MD5 哈希值  
    "--include-pattern=`"*.jpg;*.png`"",  # 只同步 JPG 和 PNG 文件  
    "--exclude-pattern=`"*.tmp;*.bak`""  # 排除临时文件和备份文件  
)  
  
# 输出命令以供调试  
Write-Host "Executing command: $($azCopyCommand -join ' ')"  
  
# 执行命令  
Invoke-Expression -Command ($azCopyCommand -join ' ')  
  
# 检查 azcopy 命令的退出状态  
if ($LASTEXITCODE -ne 0) {  
    Write-Host "Error: azcopy sync failed. Check the log file for details: $LogFile"  
    exit 1  
}  
  
Write-Host "azcopy sync completed successfully."

通过这些参数配置，可以优化同步过程，减少带宽占用，确保数据的一致性和完整性，并且更具针对性地同步必要的文件。

七、Azcopy Sync 配置和注意事项

1. 问题：`azcopy sync` 执行时客户端和存储账户之间的通信机制是怎样的？

azcopy sync 客户端在执行数据同步时，通过 HTTPS（端口 443）从源存储账户读取数据，并将数据写入目标存储账户。数据传输是通过客户端在源存储账户和目标存储账户之间进行的，中间没有直接的存储账户间通信。

2. 问题：在 `azcopy sync` 的操作中，执行命令的服务器是否相当于代理服务器？

azcopy sync 客户端可以视为一个“中介”角色，从源存储账户读取数据并将其写入目标存储账户。与传统的代理服务器不同，azcopy sync 客户端实际持有并处理数据，而不仅仅是转发请求和响应。

3. 问题：`azcopy sync` 客户端的硬件和网络配置需要什么？

硬件配置：

处理器（CPU）：
- 多核处理器，建议使用多核处理器以并行处理多个数据传输任务。
内存（RAM）：
- 至少 4 GB 内存，对于大规模的数据传输，建议使用更高的内存配置。
存储（Disk）：
- 足够的临时存储空间，建议使用 SSD 提高读写速度。

网络配置：

带宽：
- 高带宽网络连接，建议使用至少 100 Mbps 的网络连接。
网络稳定性：
- 稳定的网络连接，使用有线连接而非无线连接提高稳定性。
防火墙和端口：
- 开放端口 443，确保防火墙允许通过端口 443 的 HTTPS 流量。
- 允许访问 Azure 存储终结点，在防火墙中配置允许 azcopy sync 客户端访问源和目标存储账户的终结点。

软件配置：

操作系统：
- 支持的操作系统：Windows、Linux 和 macOS 均支持 AzCopy。
AzCopy 安装：
- 安装最新版本的 AzCopy。
环境变量和代理配置（如果适用）：
- 配置环境变量 HTTP_PROXY 和 HTTPS_PROXY（如果需要通过代理服务器访问网络）。

其他注意事项：

时间同步：
- 确保服务器时间与实际时间同步，避免因时间不同步导致的 SAS 令牌验证失败。
权限管理：
- 确保运行 AzCopy 命令的用户具有足够的权限访问源和目标存储账户。
数据一致性检查：
- 在大规模数据传输后，进行数据一致性检查，确保所有文件都正确传输，没有遗漏或损坏。

4. 问题：`azcopy sync` 客户端和存储账户需要配置哪些网络设置？

客户端配置：

网络访问：客户端必须能够通过端口 443 访问源存储账户和目标存储账户。
防火墙和代理设置：如果使用防火墙或代理服务器，确保允许 HTTPS 流量（端口 443）。

源存储账户配置：

防火墙规则：允许客户端的 IP 地址或 IP 范围访问源存储账户。
SAS 令牌：生成具有读取权限的 SAS 令牌。

目标存储账户配置：

防火墙规则：允许客户端的 IP 地址或 IP 范围访问目标存储账户。
SAS 令牌：生成具有写入和删除权限的 SAS 令牌。

需要注意的配置和可能的阻碍

存储账户防火墙和虚拟网络配置：
- 防火墙规则：确保存储账户的防火墙规则允许来自 azcopy sync 客户端的IP地址或IP范围的访问。
- 虚拟网络规则：如果存储账户配置了虚拟网络规则，确保 azcopy sync 客户端在允许的虚拟网络内。
网络连接：
- 网络带宽：确保有足够的网络带宽支持所需的数据传输量。较大的文件传输可能需要更高的带宽。
- 网络延迟：较低的网络延迟有助于提高传输性能。
端口开放：
- 端口 443：azcopy sync 客户端和存储账户之间的通信使用 HTTPS 协议，需要开放端口 443 以便进行安全的 HTTP 流量。
代理设置（如果适用）：
- 如果你的网络环境中使用了代理服务器，请确保 azcopy 配置正确的代理设置。可以设置环境变量 HTTP_PROXY 和 HTTPS_PROXY。
Azure 存储账户SAS令牌权限：
- 权限范围：确保生成的 SAS 令牌具有足够的权限（如读取、写入、删除等），以执行 azcopy sync 命令所需的操作。
- 有效期：确保 SAS 令牌在同步操作期间是有效的。
身份验证和授权：
- 如果使用 Azure AD 进行身份验证，请确保配置了正确的权限和角色，以允许访问和操作存储账户中的数据。
网络安全组（NSG）规则：
- 如果你的存储账户位于虚拟网络内，请确保配置正确的 NSG 规则，允许存储账户的入站和出站流量。

可能的阻碍和解决方案

网络连接错误：
- 确认网络连接是否稳定，确保 azcopy sync 能够访问 Azure 存储服务。
权限错误：
- 确认 SAS 令牌或 Azure AD 令牌具有正确的权限。
带宽限制：
- 如果网络带宽受限，可能会导致传输速度变慢或失败。
防火墙或代理阻止：
- 确认防火墙规则和代理设置不会阻止 azcopy sync 访问 Azure 存储账户的终结点。

原文地址：https://blog.csdn.net/m0_54833469/article/details/140405357

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：【JVM实战篇】内存调优：内存泄露危害+内存监控工具介绍+内存泄露原因介绍
下一篇：window下安装go环境

第9章综合案例————众成远程教育
制作“众成远程教育”网页，本章项目页面布局要求如下:页面要求有最外层的 div-al，第二层嵌套上中下3行区域，分别为div-top.div-main和 div-footer。而 div-main 又
阅读更多2024-11-17
Python3语法基础（全，带示例）
信息技术类，对口高考，Python，教师：施恒锋
阅读更多2024-11-17
【鸿蒙开发】第十四章 Web组件的使用、基本属性与事件
Web组件用于在应用程序中显示Web页面内容，为开发者提供页面加载、页面交互、页面调试等能力。页面加载：Web组件提供基础的前端页面加载的能力，包括：加载网络页面、本地页面、html格式文本数据。页面
阅读更多2024-11-17
python基础知识（五）——文件上传
python基础知识（五）——文件上传
阅读更多2024-11-17
如何在uniapp中获取和修改Web项目的Cookie
在uniapp开发Web项目时，操作Cookie是常见的需求。本文将介绍如何在uniapp中获取和修改Web项目的Cookie，且不设置过期时间。
阅读更多2024-11-17
时钟之Canvas+JS版
上一篇介绍使用CSS+JS方式实现，但元素泰国单一。此篇将以HTML5的canvas标签结合JS来实现。HTML代码JS代码//计时器//钟表半径//时针刻度宽度//分针刻度宽度//时针宽度//分针宽
阅读更多2024-11-17
AI测试的主要研究方向介绍
这个框架将支持对不同主题的基础测试数据集进行文本分词、图像标注、特征筛选等加工处理，为不同AI医疗产品提供定制化的测试数据，解决医学数据模块的通用性与特定测试数据集需求之间的冲突，确保测试数据集既具有
阅读更多2024-11-17
CSS盒子的定位＞（下篇）#固定定位#笔记
固定定位其实是绝对定位的子类别，一个设置了的元素是相对于视窗固定的，就算页面文档发生了滚动，它也会一直待在相同的地方。
阅读更多2024-11-17
doris udf -- 避免使用递归CTE
在部门表里有部门id (dept_id) 和父部门id (parent_id) ，父部门id同时也是部门id。现在要查部门id下所有的子部门id，但是不知道部门层级，部门关系可能也会调整。
阅读更多2024-11-17
前端知识点---this的用法 , this动态绑定(Javascript)
在JavaScript中，this 是一个非常重要但是呢也让人难搞明白的关键字。**它的值不是在编写代码时静态确定的，而是在代码运行时动态绑定的。**这非常重要下面讲一下它 .在全局作用域中（即不在
阅读更多2024-11-17

Azcopy Sync同步Azure文件共享

Azcopy Sync同步Azure文件共享

一、工作原理

二、安装 AzCopy

在 Windows 上

在 Linux 上

三、资源准备

1. 创建源和目标 Azure 存储账户

2. 创建源和目标文件共享

3. 确定路径

4. 生成源和目的存储账户的共享访问签名（SAS）令牌

配置权限

示例生成的 URL

四、Azcopy Syn 运行命令

Bash 示例

PowerShell 示例

必须开启的参数

推荐开启的参数

可选择开启的参数

五、基础脚本

Bash 脚本（适用于 Linux）

PowerShell 脚本（适用于 Windows）

六、进阶脚本

Bash 脚本（适用于 Linux 和 macOS）

PowerShell 脚本（适用于 Windows）

脚本说明

Bash 脚本

PowerShell 脚本

示例脚本：结合推荐和可选参数

七、Azcopy Sync 配置和注意事项

1. 问题：azcopy sync 执行时客户端和存储账户之间的通信机制是怎样的？

2. 问题：在 azcopy sync 的操作中，执行命令的服务器是否相当于代理服务器？

3. 问题：azcopy sync 客户端的硬件和网络配置需要什么？

4. 问题：azcopy sync 客户端和存储账户需要配置哪些网络设置？

需要注意的配置和可能的阻碍

可能的阻碍和解决方案

相关文章

1. 问题：`azcopy sync` 执行时客户端和存储账户之间的通信机制是怎样的？

2. 问题：在 `azcopy sync` 的操作中，执行命令的服务器是否相当于代理服务器？

3. 问题：`azcopy sync` 客户端的硬件和网络配置需要什么？

4. 问题：`azcopy sync` 客户端和存储账户需要配置哪些网络设置？