自学内容网 自学内容网

mongodb文档字符串批量替换

mongodb文档字符串批量替换脚本语句

前言:

1.本方式对于数据量大的情况,执行可能比较慢;
2.数据量大的情况,个人推荐代码层面解决,多线程替换更快:
(1)写实体类的方式,查询全量list(也可分批次查);
(2)遍历,多线程处理,将单个实体类转JSON字符串,替换完,再转回实体类,再save。

------------------------------------------------ 分隔符1 ------------------------------------------------
------------------------------------------------ 分隔符1 ------------------------------------------------
------------------------------------------------ 分隔符1 ------------------------------------------------

(一)参考方式一:eval(不推荐)

eval不推荐原因(摘自百度AI智能回答):

‌安全隐患‌:eval函数允许执行任意JavaScript代码,这可能导致严重的安全漏洞。如果执行的代码来自不可靠的来源,比如用户输入,攻击者可以利用这一点执行恶意代码,从而窃取数据、破坏系统或获得不受限制的访问权限‌12。

‌性能问题‌:eval通常比其他方法慢,因为它需要解析和编译代码。在处理大量数据时,使用eval可能会导致性能下降,影响系统的响应速度和效率‌2。

‌全局锁问题‌:在MongoDB 4.0及以后的版本中,eval命令被逐步弃用,主要是因为其全局锁机制。在运行脚本时,eval会锁定整个数据库,阻止所有其他操作,这会影响数据库的并发性能和稳定性‌23。

‌替代方案的存在‌:MongoDB提供了其他更安全和高效的替代方案,如使用聚合框架进行复杂的数据处理,或者使用事务支持来确保数据的一致性,这些方法不需要全局锁,且性能更好‌23。

‌MongoDB版本更新对eval的影响‌:

在MongoDB 4.2及以后的版本中,Mongo shell现在只接受db.eval命令在与4.0或更早版本的服务器一起工作时使用。这意味着在未来的版本中,eval命令可能会被完全移除‌23。

综上所述,由于安全隐患、性能问题和全局锁等问题,MongoDB不推荐使用eval,并提供了更安全的替代方案来处理复杂的数据操作和确保数据一致性。
// 旧的链接
const oldArr = [
"WWW.XXXXX.COM"
,"www.xxxxx.com"
];

// 新的链接
const newStr = "www.hahahhaha.com";

// ************** 【1】aa_文档名称_001
db.aa_文档名称_001.find().forEach(function(e) {
// 替换
    oldArr.forEach(function(item) {
        const reg = eval('/' + item + '/g');
        e.字段111 = JSON.parse(JSON.stringify(e.字段111).replace(reg, newStr))
        e.字段222 = JSON.parse(JSON.stringify(e.字段222).replace(reg, newStr))
    });
    db.aa_文档名称_001.save(e);
});

------------------------------------------------ 分隔符2 ------------------------------------------------
------------------------------------------------ 分隔符2 ------------------------------------------------
------------------------------------------------ 分隔符2 ------------------------------------------------

(二)参考方式二:RegExp(推荐)
const urlMap = new Map();
urlMap.set( "www.aaaaa.cn", "www.AAAAA.com");
urlMap.set( "www.bbbbbbb.com", "www.BBBBBBB.com");


// 预先创建正则表达式对象(如果需要的话,这里也可以不用正则表达式,而是使用简单的字符串替换)
const regexMap = new Map();
urlMap.forEach((value, key) => {
    // 注意:这里我们没有转义点字符,因为假设key不会包含正则表达式特殊字符
    // 如果key可能包含正则表达式特殊字符,请相应地转义它们
    regexMap.set(key, new RegExp(key, 'g'));
});
 

// ************************* 【1】 myDoc1
db.myDoc1.find().forEach(function(doc) {
// ****** (1)数组中的字段
    if (Array.isArray(doc.xxxItems)) {
        doc.xxxItems = doc.xxxItems.map(item => {
            if (item.pic && typeof item.pic === 'string') {
                // 遍历所有正则表达式进行替换
                let newPic = item.pic;
                regexMap.forEach((regex, key) => {
                    newPic = newPic.replace(regex, urlMap.get(key));
                });
item.pic = newPic;
            }
            // 如果不是字符串,直接返回原值
            return item;
        });
        
        // 更新文档并保存(如果实际上有更改)
        db.myDoc1.save(doc);
    }
// ****** (2)数组 -> 数组 -> 字段
    if (doc.aaaItems && Array.isArray(doc.aaaItems)) {
        doc.aaaItems = doc.aaaItems.map(ddd => {
if (ddd.shippingItems) {
ddd.shippingItems = ddd.shippingItems.map(sItem => {
if (sItem.pic && typeof sItem.pic === 'string') {
// 遍历所有正则表达式进行替换
let newPic = sItem.pic;
regexMap.forEach((regex, key) => {
newPic = newPic.replace(regex, urlMap.get(key));
});
sItem.pic = newPic;
}
});
}
// 如果不是字符串,直接返回原值
return ddd;
        });
        
        // 更新文档并保存(如果实际上有更改)
        db.myDoc1.save(doc);
    }
});



// ************************* 【2】 myDoc555
db.myDoc555.find().forEach(function(doc) {
    if (Array.isArray(doc.aiItems)) {
        doc.aiItems = doc.aiItems.map(item => {
            if (item.pic && typeof item.pic === 'string') {
                // 遍历所有正则表达式进行替换
                let newPic = item.pic;
                regexMap.forEach((regex, key) => {
                    newPic = newPic.replace(regex, urlMap.get(key));
                });
item.pic = newPic;
            }
            // 如果不是字符串,直接返回原值
            return item;
        });
        
        // 更新文档并保存(如果实际上有更改)
        db.myDoc555.save(doc);
    }
});


// ************************* 【3】 myDoc666
db.myDoc666.find().forEach(function(doc) {
regexMap.forEach((regex, key) => {
if (doc.imageUrl && typeof doc.imageUrl === 'string') {
doc.imageUrl = doc.imageUrl.replace(regex, urlMap.get(key));
}
});
// 更新文档并保存(如果实际上有更改)
db.myDoc666.save(doc);
});


原文地址:https://blog.csdn.net/weixin_44671176/article/details/144110539

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!