MongoDB 介绍

🕗 发布于 2024-10-15 16:51 mongodb 数据库

一、MongoDB 介绍

MongoDB 是一个开源的、面向文档的数据库管理系统。它采用了灵活的数据模型，以类似 JSON 的文档形式存储数据，具有高可扩展性、高性能和丰富的功能。

主要特点包括：

灵活的数据模型：文档型数据库允许存储不同结构的文档，无需预先定义固定的模式。可以随时添加新的字段或修改现有字段，非常适合快速变化的应用场景。
高可扩展性：支持水平扩展，可以通过分片机制将数据分布在多个服务器上，以处理大规模数据和高并发访问。
丰富的查询语言：提供类似 SQL 的查询语言，支持复杂的查询操作，包括条件查询、排序、聚合等。同时，还支持索引以提高查询性能。
高可用性：支持副本集，可以实现数据冗余和故障转移，确保在节点故障时数据的持续可用。
支持多种编程语言：提供了丰富的驱动程序，支持多种编程语言，方便开发人员进行应用开发。

二、MongoDB 原理

存储结构：
- MongoDB 将数据存储在文档中，文档是一种类似于 JSON 的结构，由键值对组成。文档可以包含不同类型的数据，如字符串、数字、日期、数组、嵌套文档等。
- 数据库由多个集合组成，集合类似于关系型数据库中的表，但没有固定的模式。集合中的文档可以具有不同的结构。
- MongoDB 使用内存映射文件进行数据存储，将数据文件映射到内存中，提高数据的读写性能。
索引机制：
- MongoDB 支持多种类型的索引，包括单键索引、复合索引、文本索引、地理空间索引等。索引可以提高查询性能，特别是对于经常进行的查询操作。
- MongoDB 会自动为文档的唯一标识符（_id）创建索引，也可以根据应用需求手动创建其他索引。
复制集：
- 复制集是一组 MongoDB 服务器，其中一个服务器被指定为主服务器，其他服务器为从服务器。主服务器负责处理所有的写操作，并将数据同步到从服务器。
- 从服务器可以提供读操作的负载均衡，提高系统的可用性和性能。如果主服务器发生故障，复制集会自动选举一个新的主服务器。
分片：
- 分片是将数据分布在多个 MongoDB 服务器上的机制，以实现水平扩展。数据被分成多个数据块，每个数据块存储在不同的分片服务器上。
- MongoDB 使用分片键来确定数据的分布，分片键可以是文档中的一个或多个字段。查询时，MongoDB 会根据分片键将查询路由到相应的分片服务器上。

三、以物联网存储实时数据为例讲解 MongoDB 的使用

设计数据模型：
- 对于物联网实时数据，可以创建一个名为“sensor_data”的集合来存储传感器数据。每个文档可以包含传感器的标识、时间戳、测量值等字段。
- 例如：
```
{
  "sensor_id": "sensor1",
  "timestamp": ISODate("2024-10-12T10:00:00Z"),
  "temperature": 25.5,
  "humidity": 60
}
```

插入数据：

使用 MongoDB 的驱动程序或命令行工具，可以将实时数据插入到数据库中。例如，使用 Python 的 pymongo 库：

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['iot_data']
collection = db['sensor_data']

data = {
    "sensor_id": "sensor1",
    "timestamp": datetime.utcnow(),
    "temperature": 26.5,
    "humidity": 65
}

collection.insert_one(data)

查询数据：
- 可以使用 MongoDB 的查询语言来查询特定传感器的数据或满足特定条件的数据。例如，查询传感器“sensor1”的所有数据：
```
result = collection.find({"sensor_id": "sensor1"})
for doc in result:
    print(doc)
```
建立索引：
- 为了提高查询性能，可以根据经常查询的字段建立索引。例如，为“sensor_id”和“timestamp”字段建立复合索引：
```
collection.create_index([("sensor_id", 1), ("timestamp", 1)])
```

数据聚合和分析：

MongoDB 提供了强大的聚合框架，可以对数据进行统计、分组、排序等操作。例如，计算某个时间段内传感器的平均温度：

pipeline = [
    {
        "$match": {
            "sensor_id": "sensor1",
            "timestamp": {
                "$gte": datetime(2024, 10, 12, 10, 0, 0),
                "$lt": datetime(2024, 10, 12, 11, 0, 0)
            }
        }
    },
    {
        "$group": {
            "_id": None,
            "average_temperature": {"$avg": "$temperature"}
        }
    }
]

result = collection.aggregate(pipeline)
print(result.next())

通过以上步骤，可以使用 MongoDB 有效地存储和处理物联网实时数据。根据实际需求，可以进一步优化数据模型、索引和查询，以提高系统的性能和可用性。

二、以下是使用 Java 代码以物联网存储实时数据为例展示 MongoDB 的使用方法：

1、添加依赖

如果使用 Maven 项目，在pom.xml文件中添加以下依赖：

<dependency>
    <groupId>org.mongodb</groupId>
    <artifactId>mongo-java-driver</artifactId>
    <version>3.12.11</version>
</dependency>

2、代码示例

import com.mongodb.MongoClient;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;

import java.util.Date;

public class MongoDBIoTExample {
    public static void main(String[] args) {
        // 创建 MongoDB 连接
        MongoClient mongoClient = new MongoClient("localhost", 27017);

        // 选择数据库
        MongoDatabase database = mongoClient.getDatabase("iot_data");

        // 选择集合
        MongoCollection<Document> collection = database.getCollection("sensor_data");

        // 模拟物联网传感器数据
        Document sensorData = new Document()
               .append("sensor_id", "sensor1")
               .append("timestamp", new Date())
               .append("temperature", 25.5)
               .append("humidity", 60);

        // 插入数据到集合中
        collection.insertOne(sensorData);

        System.out.println("数据插入成功！");

        // 查询特定传感器的数据
        Document query = new Document("sensor_id", "sensor1");
        collection.find(query).forEach(document -> System.out.println(document.toJson()));

        // 关闭连接
        mongoClient.close();
    }
}

在这个示例中，首先创建了一个到本地 MongoDB 服务器的连接。然后选择了名为iot_data的数据库和名为sensor_data的集合。接着模拟了一个物联网传感器的数据，并将其插入到集合中。最后，通过查询特定传感器的 ID 来检索数据并打印输出。

三、聚合管道的概念
在 MongoDB 中，聚合管道是一种强大的工具，用于对数据进行复杂的分析和转换。以下是使用 MongoDB 的聚合管道进行数据分析的步骤：

聚合管道是由多个阶段组成的流水线，每个阶段对输入数据进行特定的操作，并将结果传递给下一个阶段。聚合管道可以处理大量的数据，并提供了丰富的操作，如过滤、分组、排序、计算聚合值等。

1、基本的聚合管道操作

$match阶段：用于过滤文档，只选择符合特定条件的文档进入管道的下一个阶段。
- 例如，选择温度大于 25 的传感器数据：
```
{ $match: { temperature: { $gt: 25 } } }
```
$group阶段：用于将文档分组，并对每组文档进行聚合操作。
- 例如，按传感器 ID 分组并计算平均温度：
```
{
  $group: {
    _id: "$sensor_id",
    averageTemperature: { $avg: "$temperature" }
  }
}
```
$sort阶段：用于对文档进行排序。
- 例如，按时间戳升序排序：
```
{ $sort: { timestamp: 1 } }
```

$project阶段：用于选择和重命名字段，以及进行计算和转换。

例如，选择特定字段并计算温度差：

{
  $project: {
    sensor_id: 1,
    temperatureDifference: { $subtract: [ "$temperature", 25 ] }
  }
}

使用 Java 驱动程序执行聚合管道

以下是使用 Java 驱动程序执行聚合管道的示例代码：

import com.mongodb.MongoClient;
import com.mongodb.client.AggregateIterable;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;

import java.util.Arrays;

public class MongoDBAggregationExample {
    public static void main(String[] args) {
        // 创建 MongoDB 连接
        MongoClient mongoClient = new MongoClient("localhost", 27017);

        // 选择数据库
        MongoDatabase database = mongoClient.getDatabase("iot_data");

        // 选择集合
        MongoCollection<Document> collection = database.getCollection("sensor_data");

        // 定义聚合管道
        AggregateIterable<Document> result = collection.aggregate(Arrays.asList(
                new Document("$match", new Document("temperature", new Document("$gt", 25))),
                new Document("$group", new Document("_id", "$sensor_id").append("averageTemperature", new Document("$avg", "$temperature"))),
                new Document("$sort", new Document("averageTemperature", -1))
        ));

        // 遍历结果
        for (Document document : result) {
            System.out.println(document.toJson());
        }

        // 关闭连接
        mongoClient.close();
    }
}

在这个示例中，首先创建了一个到本地 MongoDB 服务器的连接，并选择了名为iot_data的数据库和sensor_data集合。然后定义了一个聚合管道，包括过滤温度大于 25 的文档、按传感器 ID 分组并计算平均温度、按平均温度降序排序。最后，遍历结果并打印输出。

复杂的聚合操作

聚合管道还可以进行更复杂的操作，如嵌套分组、使用表达式进行计算、连接多个集合等。例如，可以使用$lookup阶段进行左外连接操作，将两个集合的数据关联起来进行分析。

以下是一个使用$lookup进行关联的示例：

{
  $lookup: {
    from: "sensor_metadata",
    localField: "sensor_id",
    foreignField: "sensor_id",
    as: "sensor_metadata"
  }
},
{
  $unwind: "$sensor_metadata"
},
{
  $project: {
    sensor_id: 1,
    temperature: 1,
    location: "$sensor_metadata.location"
  }
}

在这个示例中，假设存在另一个名为sensor_metadata的集合，包含传感器的元数据信息（如位置）。通过$lookup阶段将sensor_data集合与sensor_metadata集合进行关联，然后使用$unwind阶段将关联后的结果展开，最后使用$project阶段选择需要的字段。

通过灵活运用 MongoDB 的聚合管道，可以对数据进行各种复杂的分析和转换，满足不同的数据分析需求。

原文地址：https://blog.csdn.net/mozf881/article/details/142878407

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：无人机集群路径规划：5种优化算法（SFOA、APO、GOOSE、CO、PIO）求解无人机集群路径规划，提供MATLAB代码
下一篇：springboot3使用Excel导入数据库数据

特斯拉智驾路线影响国内OEM组织架构变革，Robotaxi重塑汽车定位搅动风云
其实对于这样的产品推出的时间线我们还是比较乐观的，我们期望很快能够实现完全的无人监督FSD，明年在德州和加州，我们希望推出完全的无人监督的FSD，很明显，Model 3和Model Y是沿着这样的道路
阅读更多2024-10-15
OpeneBayes 教程上新 | 打败 GPT-4V？超强开源多模态大模型 LLaVA-OneVision 正式上线！
视频还包括对运动员脸部的特写，展示了他们的专注和决心。近期，来自字节跳动、南洋理工大学、香港中文大学和香港科技大学的研究人员共同开源了 LLaVA-OneVision 多模态大模型，该模型在单图像、多
阅读更多2024-10-15
Windows server 2019的安装
图1-2 在有空间的磁盘上创建一个目录用于指定安装Windows server 2019。图1-8 安装完毕后重启，目前是在安装VMware tools虚拟工具。图1-3 给虚拟机命名/改名,将安装的
阅读更多2024-10-15
nacos使用需注意的问题
spring:cloud:nacos:#config:discovery:
阅读更多2024-10-15
python 桌面程序开发
功能描述：编写带UI界面的桌面程序，读取终端设备历史轨迹数据，采用多线程高并发，模拟终端设备实时定位发送，检测服务端程序的性能。6.生成的执行文件在dist目录中，需要生成linux、麒麟环境中运行程
阅读更多2024-10-15
Spring Boot 核心理解-自动装配
springBoot重新梳理和学习。为了面试。加油。。。。。
阅读更多2024-10-15
时间序列预测（四）——损失函数（Lossfunction）
在 BCE 的基础上直接对模型输出进行 Sigmoid 操作，适合未经 Sigmoid 的原始输出（logits）。适用场景：二分类任务，适合直接使用模型的输出值（未经过 Sigmoid 激活的 lo
阅读更多2024-10-15
模块化沙箱：构建零信任架构的关键技术
政府机构可以采用零信任结合模块化沙箱的组合，形成一机两用的解决方案，确保业务工作的流畅性和安全性。国企央企和科研企业也可以通过使用模块化反向沙箱和重型沙箱，确保安全上网、数据防泄漏和防病毒，以及研发调
阅读更多2024-10-15
基础篇:带你打开Vue的大门（二）
本文将详细介绍Vue.js中常用的指令和功能，包括条件渲染（v-if、v-else-if、v-else和v-show）、列表渲染（v-for）、属性绑定和事件处理、计算属性和侦听器、Class与Sty
阅读更多2024-10-15
一文读懂何为高内聚低耦合
耦合程度越高，模块之间的依赖性越强，意味着更改一个模块时可能会带来连锁反应，影响到其他模块的功能和行为。为了实现高内聚、低耦合，每个子任务都可以封装在独立的模块中，彼此之间通过接口进行通信，避免模块之
阅读更多2024-10-15

MongoDB 介绍

相关文章