HOW - 如何检测图片或视频文件出现重复

一、背景

在管理图片和视频资源时，防止资产重复是非常重要的。比如在一些网盘应用有空间限制，假如我们存储了很多重复文件，其实是比较浪费的。有些网盘也提供了文件重复检测功能，那一般是如何做到的呢？

另外，在 HOW - 文件下载和文件上传（多文件并发、分片、断点续传、大文件秒传等） 中我们也介绍过大文件秒传。大文件秒传，其实是指，如果发现服务端已经有了该大文件，即重复资源，那其实所需的时间就是前端根据文件内容生成 id的时间。通过测试结果，可以发现如果文件大小在10M以内，可以在秒级内完成MD5 id的生成。对大文件进行提前判断是否已经在服务端存在其实是非常划算的。

二、方法和技巧

以下是一些方法和技巧，可以帮助你有效地避免重复：

1. 使用唯一标识符

每个资源文件都应该有一个唯一标识符 (UUID) 或者哈希值（例如 MD5 或 SHA-256）。当你上传一个新文件时，计算它的哈希值并与现有资源的哈希值进行比较，如果匹配，则表明文件已经存在。

2. 文件命名规范

采用统一的文件命名规范，比如在文件名中包含日期、时间戳、描述信息等。这样可以减少由于命名混乱导致的重复上传。

3. 元数据管理

为每个文件附加详细的元数据（例如作者、创建日期、描述、标签等）。在上传前检查这些元数据是否已经存在于数据库中。

4. 使用数据库

将所有资源信息存储在数据库中，包括文件路径、哈希值和元数据。在上传新文件时，先检查数据库是否已经存在相同的资源。

5. 自动化脚本

编写脚本或使用现有的工具来扫描文件夹中的资源，自动识别并删除重复的文件。可以定期运行这些脚本来保持资源的清洁。

8. 内容识别技术

使用内容识别技术，如图像识别、视频指纹技术等，来检测和匹配重复的内容。这个技术在检测高度类似的图片资源并进行批量清理时很有用。

三、代码示例

当然！以下是用 JavaScript 实现的一些方法，帮助你在管理图片和视频资源时防止重复。

1. 使用唯一标识符（哈希值）

计算文件的哈希值并检测重复

const crypto = require('crypto');
const fs = require('fs');

function calculateHash(filePath) {
    return new Promise((resolve, reject) => {
        const hash = crypto.createHash('md5');
        const stream = fs.createReadStream(filePath);

        stream.on('data', data => hash.update(data));
        stream.on('end', () => resolve(hash.digest('hex')));
        stream.on('error', reject);
    });
}

async function checkDuplicate(filePath, existingHashes) {
    const fileHash = await calculateHash(filePath);
    return existingHashes.includes(fileHash);
}

(async () => {
    const existingHashes = ["abc123...", "def456..."]; // 从数据库中获取的现有文件哈希值列表
    const newFilePath = "path/to/new/file";

    if (await checkDuplicate(newFilePath, existingHashes)) {
        console.log("Duplicate file detected!");
    } else {
        console.log("No duplicate found. Proceed with upload.");
    }
})();

2. 自动化脚本来删除重复文件

使用哈希值查找和删除重复文件

const crypto = require('crypto');
const fs = require('fs');
const path = require('path');

function calculateHash(filePath) {
    return new Promise((resolve, reject) => {
        const hash = crypto.createHash('md5');
        const stream = fs.createReadStream(filePath);

        stream.on('data', data => hash.update(data));
        stream.on('end', () => resolve(hash.digest('hex')));
        stream.on('error', reject);
    });
}

async function findDuplicates(folderPath) {
    const hashes = {};
    const duplicates = [];

    const files = fs.readdirSync(folderPath);

    for (const file of files) {
        const filePath = path.join(folderPath, file);
        const fileHash = await calculateHash(filePath);

        if (hashes[fileHash]) {
            duplicates.push(filePath);
        } else {
            hashes[fileHash] = filePath;
        }
    }

    return duplicates;
}

(async () => {
    const folderPath = "path/to/your/folder";
    const duplicates = await findDuplicates(folderPath);

    for (const duplicate of duplicates) {
        fs.unlinkSync(duplicate);
        console.log(`Removed duplicate file: ${duplicate}`);
    }
})();

3. 文件命名规范与元数据管理

在上传文件时，使用命名规范和元数据管理可以减少重复：

const path = require('path');

function generateFileName(originalName) {
    const timestamp = Date.now();
    const ext = path.extname(originalName);
    const name = path.basename(originalName, ext);
    return `${name}_${timestamp}${ext}`;
}

function storeFileMetadata(filePath, metadata) {
    // 将元数据存储到数据库或文件系统
    // 例如，数据库保存代码略
    console.log(`Storing metadata for ${filePath}`, metadata);
}

const originalFileName = "image.jpg";
const newFileName = generateFileName(originalFileName);
const filePath = path.join("uploads", newFileName);

const metadata = {
    originalName: originalFileName,
    uploadDate: new Date(),
    description: "Example image file"
};

storeFileMetadata(filePath, metadata);

通过以上 JavaScript 示例，你可以有效地防止图片和视频资源的重复，确保资源管理的高效性和整洁性。

原文地址：https://blog.csdn.net/weixin_58540586/article/details/140629258

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！