Bootstrap

mongodb文档字符串批量替换

【mongodb文档字符串批量替换脚本语句】

前言:

1、本方式对于数据量大的情况不适用,执行可能比较慢;

2、数据量大的情况,个人推荐代码层面解决,多线程替换更快:
(1)写实体类的方式,查询全量list(也可分批次查);
(2)遍历,多线程处理,将单个实体类转JSON字符串,替换完,再转回实体类,再save。

3、!!!重要提醒:操作前一定先备份好数据。。。

一、参考方式一:eval(不推荐)

(1)语句内容:

// 旧的链接
const oldArr = [
"WWW.XXXXX.COM"
,"www.xxxxx.com"
];

// 新的链接
const newStr = "www.hahahhaha.com";

// ************** 【1】 示例文档:aa_文档名称_001
db.aa_文档名称_001.find().forEach(function(e) {
		// 替换
    oldArr.forEach(function(item) {
        const reg = eval('/' + item + '/g');
        e.字段111 = JSON.parse(JSON.stringify(e.字段111).replace(reg, newStr))
        e.字段222 = JSON.parse(JSON.stringify(e.字段222).replace(reg, newStr))
    });
    db.aa_文档名称_001.save(e);
});

(2)eval不推荐原因(摘自百度AI智能回答):

---安全隐患‌:eval函数允许执行任意JavaScript代码,这可能导致严重的安全漏洞。如果执行的代码来自不可靠的来源,比如用户输入,攻击者可以利用这一点执行恶意代码,从而窃取数据、破坏系统或获得不受限制的访问权限‌12---性能问题‌:eval通常比其他方法慢,因为它需要解析和编译代码。在处理大量数据时,使用eval可能会导致性能下降,影响系统的响应速度和效率‌2---全局锁问题‌:在MongoDB 4.0及以后的版本中,eval命令被逐步弃用,主要是因为其全局锁机制。在运行脚本时,eval会锁定整个数据库,阻止所有其他操作,这会影响数据库的并发性能和稳定性‌23---替代方案的存在‌:MongoDB提供了其他更安全和高效的替代方案,如使用聚合框架进行复杂的数据处理,或者使用事务支持来确保数据的一致性,这些方法不需要全局锁,且性能更好‌23---MongoDB版本更新对eval的影响‌:
在MongoDB 4.2及以后的版本中,Mongo shell现在只接受db.eval命令在与4.0或更早版本的服务器一起工作时使用。这意味着在未来的版本中,eval命令可能会被完全移除‌23---综上所述,由于安全隐患、性能问题和全局锁等问题,MongoDB不推荐使用eval,并提供了更安全的替代方案来处理复杂的数据操作和确保数据一致性。
二、参考方式二:RegExp(推荐)

(1)语句内容:

const urlMap = new Map();
urlMap.set( "www.aaaaa.cn", "www.AAAAA.com");
urlMap.set( "www.bbbbbbb.com", "www.BBBBBBB.com");


// 预先创建正则表达式对象(如果需要的话,这里也可以不用正则表达式,而是使用简单的字符串替换)
const regexMap = new Map();
urlMap.forEach((value, key) => {
    // 注意:这里我们没有转义点字符,因为假设key不会包含正则表达式特殊字符
    // 如果key可能包含正则表达式特殊字符,请相应地转义它们
    regexMap.set(key, new RegExp(key, 'g'));
});
 

// ************************* 【1】 示例文档:myDoc1
db.myDoc1.find().forEach(function(doc) {
		// ****** (1)数组中的字段
    if (Array.isArray(doc.xxxItems)) {
        doc.xxxItems = doc.xxxItems.map(item => {
            if (item.pic && typeof item.pic === 'string') {
                // 遍历所有正则表达式进行替换
                let newPic = item.pic;
                regexMap.forEach((regex, key) => {
                    newPic = newPic.replace(regex, urlMap.get(key));
                });
								item.pic = newPic;
            }
            // 如果不是字符串,直接返回原值
            return item;
        });
    }
		// ****** (2)数组 -> 数组 -> 字段
    if (doc.aaaItems && Array.isArray(doc.aaaItems)) {
        doc.aaaItems = doc.aaaItems.map(ddd => {
					if (ddd.shippingItems) {
							ddd.shippingItems = ddd.shippingItems.map(sItem => {
								if (sItem.pic && typeof sItem.pic === 'string') {
									// 遍历所有正则表达式进行替换
									let newPic = sItem.pic;
									regexMap.forEach((regex, key) => {
											newPic = newPic.replace(regex, urlMap.get(key));
									});
									sItem.pic = newPic;
								}
								return sItem;
							});
					}
					// 如果不是字符串,直接返回原值
					return ddd;
        });
    }
    // 更新文档并保存
    db.myDoc1.save(doc);
});



// ************************* 【2】 示例文档:myDoc555
db.myDoc555.find().forEach(function(doc) {
    if (Array.isArray(doc.aiItems)) {
        doc.aiItems = doc.aiItems.map(item => {
            if (item.pic && typeof item.pic === 'string') {
                // 遍历所有正则表达式进行替换
                let newPic = item.pic;
                regexMap.forEach((regex, key) => {
                    newPic = newPic.replace(regex, urlMap.get(key));
                });
				item.pic = newPic;
            }
            // 如果不是字符串,直接返回原值
            return item;
        });
        
        // 更新文档并保存(如果实际上有更改)
        db.myDoc555.save(doc);
    }
});


// ************************* 【3】 示例文档:myDoc666
db.myDoc666.find().forEach(function(doc) {
		regexMap.forEach((regex, key) => {
			if (doc.imageUrl && typeof doc.imageUrl === 'string') {
					doc.imageUrl = doc.imageUrl.replace(regex, urlMap.get(key));
			}
		});
		// 更新文档并保存(如果实际上有更改)
		db.myDoc666.save(doc);
});

;