使用kibana实现es索引的数据映射和索引模版/组件模版

🕗 发布于 2024-12-08 04:20 elasticsearch kibana 索引文档检索全文检索

1 数据映射

1.1 日期映射案例

1.创建一条索引。把索引中的字段生日映射为日期，并制定映射后的格式为年月日

PUT http://10.0.0.91:9200/zhiyong18-luckyboy-date
{
  "mappings": {
    "properties": {
      "birthday": {
        "type":   "date",
        "format": "yyyy-MM-dd"
      }
    }
  }
}

2.创建测试数据，因为使用了 “” 后，默认是文本类型。

POST  http://10.0.0.91:9200/_bulk
{ "create": { "_index": "zhiyong18-luckyboy-date"} }
{ "name": "wzy","birthday": "2000-10-01" }
{ "create": { "_index": "zhiyong18-luckyboy-date"} }
{ "name": "XiaoWen","birthday": "2018-05-01" }
{ "create": { "_index": "zhiyong18-luckyboy-date"} }
{ "name": "老文","birthday": "1996-05-01" }

展开索引管理即可看到该索引的映射情况

在这里插入图片描述

3.查看年龄，从大到小降序排序(注意，比较的是数字，数字大的在下面)

GET 10.0.0.91:9200/zhiyong18-luckyboy-date/_search
{
  "sort": { "birthday": "asc"} 
}

输出结果：

可以看到原本是文本的类型的日期也可以按照大小排序了

{
    "took": 870,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": null,
        "hits": [
            {
                "_index": "zhiyong18-luckyboy-date",
                "_type": "_doc",
                "_id": "-g-qMJMBE9HPwNvdRhWJ",
                "_score": null,
                "_source": {
                    "name": "老文",
                    "birthday": "1996-05-01"
                },
                "sort": [
                    830908800000
                ]
            },
            {
                "_index": "zhiyong18-luckyboy-date",
                "_type": "_doc",
                "_id": "-A-qMJMBE9HPwNvdRhWJ",
                "_score": null,
                "_source": {
                    "name": "wzy",
                    "birthday": "2000-10-01"
                },
                "sort": [
                    970358400000
                ]
            },
            {
                "_index": "zhiyong18-luckyboy-date",
                "_type": "_doc",
                "_id": "-Q-qMJMBE9HPwNvdRhWJ",
                "_score": null,
                "_source": {
                    "name": "XiaoWen",
                    "birthday": "2018-05-01"
                },
                "sort": [
                    1525132800000
                ]
            }
        ]
    }
}

1.2 IP映射案例

1.自定义数据类型和创建索引。把ip_addr映射为ip地址

PUT 10.0.0.91:9200/zhiyong18-luckyboy-ip
{
    "mappings": {
        "properties": {
            "ip_addr": {
                "type": "ip"
            }
        }
    },
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 0
    }
}

2.写入测试数据

POST 10.0.0.91:9200/_bulk
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "192.168.10.101" }          
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "192.168.10.201" }          
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "172.31.10.100" }           
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "10.0.0.222" }              
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "192.168.20.91" }
{ "create": { "_index": "zhiyong18-luckyboy-ip"} }
{ "ip_addr": "10.0.0.93" }

3.查看网段192.168.0.0/16

GET 10.0.0.91:9200/zhiyong18-luckyboy-ip/_search
{
    "query": {
        "match" : {
            "ip_addr": "192.168.0.0/16"
        }
    }
}

输出：

{
    "took": 932,
    "timed_out": false,
    "_shards": {
        "total": 3,
        "successful": 3,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "zhiyong18-luckyboy-ip",
                "_type": "_doc",
                "_id": "zf3PMJMBCz6n20zoIPU9",
                "_score": 1.0,
                "_source": {
                    "ip_addr": "192.168.10.101"
                }
            },
            {
                "_index": "zhiyong18-luckyboy-ip",
                "_type": "_doc",
                "_id": "zv3PMJMBCz6n20zoIPU9",
                "_score": 1.0,
                "_source": {
                    "ip_addr": "192.168.10.201"
                }
            },
            {
                "_index": "zhiyong18-luckyboy-ip",
                "_type": "_doc",
                "_id": "0f3PMJMBCz6n20zoIPU9",
                "_score": 1.0,
                "_source": {
                    "ip_addr": "192.168.20.91"
                }
            }
        ]
    }
}

1.3 地理位置映射案例

1.创建索引。在 zhiyong18-map 索引中为 location 字段创建了 geo_point 类型的映射，使location字段可以存储地理坐标（经纬度）。随后，可以使用 ES 提供的地理空间查询功能，进行基于位置的查询操作

PUT http://10.0.0.93:9200/zhiyong18-map
{
  "mappings": {
    "properties": {
      "location": { 
        "type": "geo_point"
      }
    }
  }
}

2.写入地理位置；lat：表示纬度（Latitude）；lon：表示经度（Longitude）。

POST http://10.0.0.93:9200/_bulk
{ "create": { "_index": "zhiyong18-map"}}
{ "location": { "lat": 39.914,"lon": 116.386}}
{ "create": { "_index": "zhiyong18-map"}}
{ "location": { "lat": 42.210,"lon": 101.666}}
{ "create": { "_index": "zhiyong18-map"}}
{ "location": { "lat": 32.850,"lon": 98.124}}
{ "create": { "_index": "zhiyong18-map"}}
{ "location": { "lat": 79.850,"lon": 128.124}}
{ "create": { "_index": "zhiyong18-map"}}
{ "location": { "lat": 63.850,"lon": 179.124}}

3.去创建一条索引模式匹配创建的索引：zhiyong18-map（略）

位置： Management 窗口 --> Stack Management --> kibana --> 索引模式，创建zhiyong18-map

4.创建地理位置图：Analytics --> Maps --> 点击右侧的添加图层 --> 选择文档在这里插入图片描述
–> 选择索引模式 (zhiyong18-map)

在这里插入图片描述

2 kibana的组件/索引模版

2.1 创建组件模版

窗口位置：在这里插入图片描述

1.在运筹创建一个组件模版 luckyboy

2.索引设置：在这里插入图片描述

3.设置各种映射，有兴趣可以自行研究在这里插入图片描述

4.别名设置，K8S、database、ELK。在这里插入图片描述

5.复查阶段。其实就是查看一下json有没有问题和看看多了哪些设置

在这里插入图片描述

查看json内存，是不是非常熟悉。其实就是kibana把要写的json做成前端了，大大降低了使用门槛

PUT _component_template/luckyboy
{
  "template": {
    "settings": {
      "number_of_replicas": 0,
      "number_of_shards": 8
    },
    "mappings": {
      "properties": {
        "ip_addr": {
          "type": "ip"
        },
        "birthday": {
          "type": "date"
        },
        "jingweidu": {
          "type": "geo_shape"
        }
      }
    },
    "aliases": {
      "K8S": {},
      "database": {},
      "ELK": {}
    }
  }
}

2.2 创建索引模版

窗口位置：在这里插入图片描述

1.创建一条索引模版：lucky-wzy，设置索引模式：lucky-wzy*

数据流参考链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/data-streams.html

在这里插入图片描述

2.引用上一步【kibana相关使用案例–>创建组件模版】的组件模版：lucky-boy

在这里插入图片描述

3.索引设置，略。（因为组件模版中已经定义了）

4.映射，略。（因为组件模版中已经定义了）

5.别名，略。（因为组件模版中已经定义了）

6.复查。查看即将创建的索引模版

PUT _index_template/lucky-wzy
{
  "index_patterns": [
    "lucky-wzy*"
  ],
  "composed_of": [
    "luckyboy"
  ]
}

2.3 创建索引引用索引&组件模版

1.创建一条索引 lucky-wzy-01 验证之前的操作

PUT 10.0.0.91:9200/lucky-wzy-01

2.查看该条索引符合之前的设置预期

GET 10.0.0.91:9200/lucky-wzy-01

{
    "lucky-wzy-01": {
        "aliases": {
            "ELK": {},
            "K8S": {},
            "database": {}
        },
        "mappings": {
            "properties": {
                "birthday": {
                    "type": "date",
                    "format": "yyyy-MM-dd"
                },
                "ip_addr": {
                    "type": "ip"
                },
                "jingweidu": {
                    "type": "geo_shape"
                }
            }
        },
        "settings": {
            "index": {
                "routing": {
                    "allocation": {
                        "include": {
                            "_tier_preference": "data_content"
                        }
                    }
                },
                "number_of_shards": "8",
                "provided_name": "lucky-wzy-01",
                "creation_date": "1731751518739",
                "number_of_replicas": "0",
                "uuid": "PDS3MbFHQ6u0YDPviRIHqg",
                "version": {
                    "created": "7172299"
                }
            }
        }
    }
}
      }
                    }
                },
                "number_of_shards": "8",
                "provided_name": "lucky-wzy-01",
                "creation_date": "1731751518739",
                "number_of_replicas": "0",
                "uuid": "PDS3MbFHQ6u0YDPviRIHqg",
                "version": {
                    "created": "7172299"
                }
            }
        }
    }
}

原文地址：https://blog.csdn.net/qq_73797346/article/details/144279507

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：vue2实现高德地图区域掩模并展示弹框
下一篇：SpringMVC中的Handler、HandlerMapping、HandlerAdapter

.NET(C#) 如何配置用户首选项及保存用户设置
.NET(C#) 如何配置用户首选项及保存用户设置
阅读更多2024-12-14
【最新】北大数字普惠金融指数数据集-省市县（2011-2023年）
郭峰,王靖一,王芳,孔涛,张勋,程志云.测度中国数字普惠金融发展:指数编制与空间特征[J].经济学(季刊),2020,19(04):1401-1418.时间跨度：省级和城市级指数时间跨度为2011-2
阅读更多2024-12-14
GESP202412 四级【Recamán】题解（AC）
a11ak−1−kkakak−1−kak−1k小杨想知道 Recamán 数列的前n项从小到大排序后的结果。手动计算非常困难，小杨希望你能帮他解决这个问题。
阅读更多2024-12-14
IDEA遇到EasyConnect中的网络资源无法访问的问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/wanshanyu_/article/de
阅读更多2024-12-14
双目摄像头标定方法
此时已经完成标定，左下角为反投影误差，右边为外参可视化。将双目左右目拍的图像上传（左右目最好不少于20张）此时回到主页面，即可看到成功导出。把这些误差大的删除即可。
阅读更多2024-12-14
Servlet、omcat服务器架构与工作原理
Servlet是运行在服务器端的Java程序，它的主要职责之一是接收并处理来自客户端（如浏览器）的HTTP请求。当客户端发送一个请求到服务器时，Servlet可以解析请求中的信息，例如请求的URL路径
阅读更多2024-12-14
Vue生命周期钩子函数：深入解析与实践
作为高级Vue前端开发人员，对Vue组件的生命周期钩子函数有着深刻的理解是至关重要的。生命周期钩子函数是指在Vue组件的创建、更新、销毁等过程中，Vue自动调用的一系列方法。通过这些钩子函数，我们可以
阅读更多2024-12-14
安卓开发--使用android studio发布APP
app发布
阅读更多2024-12-14
数据结构与算法学习笔记----拓扑排序
@ author: 明月清了个风。
阅读更多2024-12-14
python 将数据保存到现有的Excel文件的新工作表
out_file = ‘query.xlsx’df1 = pd.DataFrame(out_data)若直接写入：df1.to_excel(out_file, index=False, sheet_n
阅读更多2024-12-14

使用kibana实现es索引的数据映射和索引模版/组件模版

1 数据映射

1.1 日期映射案例

1.2 IP映射案例

1.3 地理位置映射案例

2 kibana的组件/索引模版

2.1 创建组件模版

2.2 创建索引模版

2.3 创建索引引用索引&组件模版

相关文章