基础概念

有一些概念是Elasticsearch的核心。从一开始就理解这些概念将极大地帮助简化学习过程。

近实时 - Near Realtime(NRT)

Elasticsearch是一个近实时搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟(通常是一秒)。

集群 - Cluster

集群是一个或多个节点(服务器)的集合,它们共同保存您的所有数据,并提供跨所有节点的联合索引和搜索功能。集群由唯一名称标识,默认情况下为“elasticsearch”。此名称很重要,因为如果节点设置为按名称加入集群,则该节点只能是集群的一部分。

确保要在不同环境中使用不同的集群名称,否则最终会导致节点加入错误的集群。例如,您可以将 logging-devlogging-stagelogging-prod 用于开发,登台和生产集群。

请注意,一个单节点的集群是完全正常的。此外,您还可以拥有多个独立的集群,每个集群都有自己唯一的集群名称。

节点 - Node

节点是集群中的单个服务器,存储数据并参与集群的索引和搜索功能。与集群一样,节点有名称标识,默认情况下,该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。如果不使用默认值,可以定义所需的任何节点名称。此名称对于管理工作非常重要,您可以在其中识别网络中的哪些服务器与Elasticsearch集群中的哪些节点相对应。

可以将节点配置为按集群名称加入特定集群。默认情况下,每个节点都设置为加入名为elasticsearch的集群,这意味着如果您在网络上启动了许多节点并且假设它们可以相互发现——它们将自动加入并组成名为 elasticsearch 的集群。

在单个集群中,您可以拥有任意数量的节点。此外,如果您的网络上当前没有其他Elasticsearch节点正在运行,则默认情况下启动单个节点将形成新的名为 elasticsearch 的单节点集群。

索引 - Index

索引是具有某些类似特征的文档集合。例如,您可以拥有客户数据的索引,产品目录的另一个索引以及订单数据的另一个索引。索引由名称标识(必须全部为小写),并且此名称用于在对其中的文档执行索引,搜索,更新和删除操作时引用索引。

在单个集群中,您可以根据需要定义任意数量的索引。

类型 - Type

警告

在6.0.0中弃用。 请参阅 移除映射类型

类型曾经是索引的逻辑类别/分区,允许您在同一索引中存储不同类型的文档,例如一种用户类型,另一种用于博客帖子。6.0.0开始的版本中类型的整个概念被移除。请参阅 移除映射类型 以获取更多信息。

文档 - Document

文档是编制索引的基本信息单元。例如,您可以为单个客户、单个产品、单个订单分别提供三个不同的文档。该文档以 JSON(JavaScript Object Notation)表示,JSON是一种常见的互联网数据交换格式。

通过使用索引/类型,您可以根据需要存储任意数量的文档。请注意,尽管文档位于索引中,但实际上必须将文档编入索引/分配给索引中的类型。

分片和副本

一个索引中可能存储大量数据,甚至可能超过单个节点的硬件限制。例如,占用1TB磁盘空间的十亿个文档的单个索引,可能不适合只用一个节点的磁盘,或者因太慢而无法单独从单个节点提供搜索请求。

为了解决这个问题,Elasticsearch将索引细分为多个分片。创建索引时,只需定义分片数即可。每个分片本身都是一个功能齐全且独立的“索引”,可以托管在集群中的任何节点上。

分片很重要,主要有两个原因:

  • 它允许您水平分割/缩放内容量
  • 它允许您跨分片(可能在多个节点上)分布式和并行化操作,从而提高性能/吞吐量

分片的分布方式以及如何将文档聚合回搜索请求的机制完全由Elasticsearch管理,对用户来说是透明的。

这在任何时候都可能出现故障的网络/云环境中非常有用,强烈建议使用故障转移机制,以防止分片/节点以某种方式脱机或因某些原因消失。为此,Elasticsearch允许您为索引的分片生成一个或多个拷贝,这些拷贝叫做副本分片,简称副本。

副本很重要,主要有两个原因:

  • 它在碎片/节点出现故障时提供高可用性。因此,请务必注意,副本分片永远不会与主分片在相同的节点上。
  • 它允许您扩展搜索量/吞吐量,因为可以在所有副本上并行执行搜索。

总而言之,每个索引可以拆分为多个分片。索引也可以复制零次(表示没有副本)或更多次。复制后,每个索引都将具有主分片(原始分片)和副本分片(主分片的副本)。

可以在创建索引时,为每个索引定义分片和副本的数量。创建索引后,您还可以随时动态更改副本数。您可以使用 _shrink_split API更改现有索引的分片数,但这不是一项简单的任务,需要预先规划正确的分片数量。

默认情况下,Elasticsearch中的每个索引都分配了5个主分片和1个副本,这意味着如果集群中至少有两个节点,则索引将包含5个主分片和另外5个副本分片(1个完整副本),总计为每个索引10个分片。

注意

每个Elasticsearch分片都是Lucene索引。截至 LUCENE-5843,单个Lucene索引中文档数上限为2,147,483,519(= Integer.MAX_VALUE - 128)个文件。您可以使用 _cat/shards API监视分片大小。

有了这个,让我们开始有趣的部分......

results matching ""

    No results matching ""