重生之我们在ES顶端相遇第 20 章 - Mapping 参数设置大全(进阶)

0. 前言

在基础篇，我们只介绍了索引 Mapping 的基本用法。
本章将深入探讨日常中较经常使用的 Mapping 其他参数配置。
不想看过程，可直接看最后的总结。

1. 前置知识 - _source

在介绍本章内容时，这边先补充一个知识点：
如果细心观察你会发现，搜索 API 返回的结果都包含在一个叫 _source 的字段中。如下图所示

_source 在 ES 中非常重要。默认情况下，所有的字段都会存储在 _source 中。
以下 API 都需要用到 _source

• 搜索返回结果
• update、update by query、reindex API
• 高亮显示 API

因此，虽说我们可以通过以下操作将 _source 禁用，但一般不禁用

PUT test20_source
{"mappings": {"_source": {"enabled": false}}
}

2. copy_to

• 描述： 将多个字段的值拷贝至 1 个或多个字段
• 作用： 一般用于优化多个 text 字段查询

其使用如下：

PUT test20_copyto
{"mappings": {"properties": {"first_name": {"type": "text","copy_to": "full_name" },"last_name": {"type": "text","copy_to": "full_name" },"full_name": {"type": "text"}}}
}GET test20_copyto/_search
{"query": {"match": {"full_name": "hello"}}
}

注意： copy_to 不会改变 _source 的值

3. doc_values

• 描述： 专为字段值存储而设计的列式存储格式。默认情况下，除了 text，annotated_text 不启用，其他字段默认启用。禁用该字段，可以节约磁盘存储。
• 作用： 允许字段使用排序、聚合、script 字段访问。

其使用如下：

PUT test_doc_value
{"mappings": {"properties": {"name": { "type": "keyword"},"address": { "type": "keyword","doc_values": false}}}
}PUT test_doc_value/_doc/1
{"name": "elasticsearch","address": "china"
}# 该操作会报错, address 字段的 doc_values 被禁用了
GET test_doc_value/_search
{"sort": [{"address": {"order": "desc"}}]
}

注意： wildcard 字段(模糊匹配)无法禁用

4. index

• 描述： 是否为字段建立索引（可以简单理解为倒排索引），默认 true。
• 作用： 禁用时，字段无法搜索

其使用如下：

PUT test_index
{"mappings": {"properties": {"name": {"type": "keyword","index": false},"address": {"type": "keyword"},"age": {"type": "integer" ,"index": false}}}
}PUT test_index/_doc/1
{"name": "java","address": "china","age": 13
}# 不为其建立索引，所以无法被搜索
GET test_index/_search
{"query": {"bool": {"filter": [{"range": {"age": {"gte": 10}}}]}}
}# 依然可以排序
GET test_index/_search
{"query": {"term": {"address": {"value": "china"}}},"sort": [{"age": {"order": "desc"}}]
}

index 字段控制是否可以被搜索，doc_values 控制是否可以被排序、聚合。

5. enabled

• 描述： enabled 只能应用在顶级映射定义和对象字段上。默认为 true。
• 作用： 只存储字段值，不为该字段建立任何索引。禁用后，仅存在于 _source 字段中，其他任何地方都不会存储该字段，即可以认为字段无法被搜索、聚合、排序、script 字段访问。但可以获取、修改该字段值。

其使用如下：

# 该操作会报错，无法用于非对象字段
PUT test_enable
{"mappings": {"properties": {"name": { "type": "keyword","enabled": false}}}
}PUT test_enable
{"mappings": {"properties": {"name": { "type": "keyword"},"address": { "type": "keyword"},"relation": {"type": "object","enabled": false},"relation2": {"type": "object"}}}
}PUT test_enable/_doc/1
{"name": "java","address": "china","relation": {"fruit": "apple","hobby": "basketball"},"relation2": {"fruit": "apple","hobby": "basketball"}
}# 无法查询
GET test_enable/_search
{"query": {"term": {"relation.fruit": {"value": "apple"}}}
}# 正常查询
GET test_enable/_search
{"query": {"term": {"relation2.fruit": {"value": "apple"}}}
}

enabled 是 doc_values、index 的结合体。被禁用后，仅能被查看、修改值。但 enabled 只能作用于顶级的映射定义和对象字段。

6. normalizer

• 作用： 规范 keyword 字段值。例如，统一将值转化为小写

其使用如下：

PUT test20_normalizer
{"settings": {"analysis": {"normalizer": {"my_normalizer": {"type": "custom","char_filter": [],"filter": ["lowercase", "asciifolding"]}}}},"mappings": {"properties": {"name": {"type": "keyword","normalizer": "my_normalizer"},"name2": {"type": "keyword"}}}
}PUT test20_normalizer/_doc/1
{"name": "HELLO WORLD","name2":  "HELLO WORLD"
}# 因为 name 被转化为小写，因此我们使用小写也可以搜索到
GET test20_normalizer/_search
{"query": {"term": {"name": {"value": "hello world"}}}
}# name2 未被规范化处理，因此无法使用小写搜索到结果集
GET test20_normalizer/_search
{"query": {"term": {"name2": {"value": "hello world"}}}
}

7. null_value

• 描述： 当一个字段没有值时，写入到 ES 文档中会没有该字段。查询时我们则使用 exists API，ES 提供了 null 值的方式，允许我们查询 null 值。
• 作用： 写入时设置值为 null。搜索时可通过声明的 null 值来搜索。

其使用如下：

PUT test_null_value 
{"mappings": {"properties": {"name": {"type": "keyword","null_value": "NULL"},"address": {"type": "integer","null_value": -99999}}}
}POST /_bulk
{"index": {"_index":"test_null_value","_id": "1"}}
{"address": 12,"name": null}
{"index": {"_index":"test_null_value","_id": "2"}}
{"name": "hello","address": null}# 使用声明的 null_value 查询 null 值
GET test_null_value/_search
{"query": {"term": {"address": {"value": -99999}}}
}# 使用声明的 null_value 查询 null 值
GET test_null_value/_search
{"query": {"term": {"name": {"value": "NULL"}}}
}

注意： null_value 不改变 _source 值

8. 总结

• _source
  • 作用： 所有的字段都会存储在 _source 中。搜索、update、update by query、reindex、高亮显示 API 需要用到该字段
  • 默认值： 默认启用
• _copy_to
  • 作用： 将多个字段拷贝至 1 个或多个字段，用于优化多个 text 字段查询
  • 默认值： \
• doc_values
  • 作用： 允许字段使用排序、聚合、script 字段访问
  • 默认值： 默认除了 text、annotated_text 不启用，其他字段都启用
• index
  • 作用： 是否允许字段被搜索
  • 默认值： true
• enabled
  • 作用： 只能作用于顶级映射定义和对象字段，只存储于 _source 中，其他任何地方均不存储。false 时，只能查看、修改字段值，其他操作均被禁用
  • 默认值： true
• normalizer
  • 作用： 规范 keyword 字段值
  • 默认值： \
• null_value
  • 作用： 搜索 null 值
  • 默认值： \