FineDance：细粒度编舞3D数据集 学习笔记

最近的方法采用了生成网络，如VAE[37]、GAN[33]、归一化流网络[44]、扩散[42]。但他们只关注身体部位，而忽略了手部动作，导致不自然或单调的手部动作，即使用注释良好的身体和手部标签进行训练。此外，基于生成的方法受到网络长期建模能力的限制，使其难以生成长期的舞蹈序列。

因此，我们提出了FineNet，一个两阶段的生成合成网络，解决了以前舞蹈生成方法的局限性。在第一阶段，我们提出了一个基于扩散的全身舞蹈生成网络（FDGN）。FDGN的关键是设计两个专家网络，专门用于生成身体和手部动作，并使用Refine Net将它们协调组装。在第二阶段，我们提出了一个类型与连贯感知检索模块（GCRM）这确保了舞蹈片段的连贯性

长时：生成长期的新运动具有挑战性，因为神经网络往往会随着时间的推移而累积错误。为了解决这些问题，我们提出了FineNet，它包括一个基于扩散的全身多样化舞蹈生成网络（FDGN）和一个流派和连贯感知检索模块（GCRM）。FDGN专注于创造具有表现力的动作的细节舞蹈，而GCRM则考虑舞蹈的整体编排。FineNet巧妙地结合了生成和合成方法，使它们互补，就像人类编舞的过程一样。此外，FineNet允许通过在初始时间步选择不同的舞蹈片段来生成多个不同的舞蹈片段。此功能为用户提供了广泛的创意可能性。

我们方法的整体框架如图3所示。首先，将输入音乐 X 拆分为 4 秒的片段 {X}，不重叠，N 是给定音乐的片段数。对于每个 X，我们使用 Librosa 工具箱 [30] 提取时间特征 ̄X∈ R 和 mel-spectrogram 图像 eX∈ R，其中 T 是剪辑的时间长度，Cis 通道维度。W 和 H 分别是图像的宽度和高度，3 表示 RGB 通道数。FineNet在每个时间步生成并检索最佳舞蹈片段，

在 FDGN 中，我们构建了 3 个 MLP 层来编码音乐和身体特征。我们使用变压器层作为身体/手专家网络的骨干。细化网络由一维卷积层和可学习的权重参数组成。总纪元、学习率和批处理大小设置为 200、2e、2048。在 GCRM 中，α、β分别设置为 1.0 和 0.5。评估指标。（1）FID评分。Fr'echet成立