OpenSearch新字段查询无结果：动态映射与Terms查询深度解析

本文旨在解决opensearch中新增字段查询无结果的问题。核心原因在于opensearch的动态映射机制，它会自动为新字段创建`text`和`keyword`两种类型。当使用`terms`查询时，需要理解这两种类型的行为差异：`text`字段会经过分词处理，而`keyword`字段则保持原样。文章将详细介绍如何通过使用`.keyword`后缀或根据分词结果调整查询词来正确检索数据，并强调显式映射的重要性。

OpenSearch动态映射与查询机制解析

在使用OpenSearch（或Elasticsearch）时，开发者可能会遇到一个常见问题：当向现有索引添加新字段并尝试查询时，即使数据已成功写入，查询结果却为空。这通常发生在没有预先定义新字段映射（mapping）的情况下。问题的根源在于OpenSearch的动态映射（Dynamic Mapping）机制以及terms查询的工作原理。

当OpenSearch接收到包含新字段的文档时，如果该字段在索引的映射中尚未定义，OpenSearch会根据字段值的类型自动推断其映射。对于字符串类型，默认行为是创建一个主字段类型为text，并同时创建一个子字段类型为keyword。

• text 类型字段：这类字段会被分析（analyzed），这意味着它们会经过分词器（tokenizer）和过滤器（filters）的处理，例如转换为小写、去除标点、词干提取等。最终存储的是分词后的词项（tokens）。
• keyword 类型字段：这类字段不会被分析（not analyzed），它们的值会作为一个整体被索引。这使得keyword字段非常适合用于精确匹配、聚合、排序等场景。

terms查询（以及term查询）设计用于查找精确匹配的词项。这意味着它不会对查询词进行分词处理，而是直接查找索引中与查询词完全相同的词项。因此，当对一个text类型字段执行terms查询时，它会尝试匹配分词后的词项，而不是原始字符串。如果查询词与分词后的词项不匹配，就无法得到结果。

解决方案：两种有效的查询策略

针对上述问题，有两种主要且有效的查询策略，它们都围绕着如何正确地与OpenSearch的动态映射和分词机制交互。

策略一：使用.keyword子字段进行精确匹配

这是最推荐且最直接的解决方案，尤其当你需要对字段值进行精确匹配时。由于OpenSearch为text字段自动创建了keyword子字段，我们可以直接查询这个未被分析的keyword子字段。

示例：

假设你有一个名为lastname的新字段，其中包含值"William"。当你尝试使用以下查询时：

POST abc/_search
{
  "query": {
    "bool": {
        "must": [
            {
                "terms": {
                    "lastname": [
                        "William"
                    ]
                }
            }
        ]
    }
  }
}

如果lastname被动态映射为text类型，上述查询将不会返回结果，因为lastname字段中的"William"可能已经被分词器处理成了"william"（小写）。

要解决这个问题，应查询lastname.keyword字段：

POST abc/_search
{
  "query": {
    "bool": {
        "must": [
            {
                "terms": {
                    "lastname.keyword": [
                        "William"
                    ]
                }
            }
        ]
    }
  }
}

通过指定lastname.keyword，terms查询将直接在未分词的原始值上进行精确匹配，从而正确检索到包含"William"的文档。

策略二：查询text字段时匹配分词后的词项

如果你确实想查询text字段，并且知道其默认的分词器行为（例如，通常会进行小写转换），那么你可以将查询词调整为分词后的形式。

示例：

继续以lastname字段为例，如果默认的分词器将"William"转换为"william"（小写），那么你的terms查询需要使用小写形式的查询词：

POST abc/_search
{
  "query": {
    "bool": {
        "must": [
            {
                "terms": {
                    "lastname": [
                        "William"
                    ]
                }
            }
        ]
    }
  }
}

注意事项：

• 这种方法要求你对OpenSearch默认的分词器行为有清晰的了解。不同的语言或自定义分词器可能会有不同的分词结果。
• 对于需要精确匹配的场景，此方法不如使用.keyword子字段可靠和推荐，因为它依赖于对分词器行为的假设。

最佳实践与总结

为了避免未来出现类似的查询问题，并确保数据的索引和检索行为符合预期，以下是一些最佳实践：

1. 显式定义映射（Explicit Mapping）：在索引数据之前，尽可能为所有字段定义明确的映射。这可以让你完全控制字段的类型、是否分词、使用哪个分词器等，从而避免动态映射可能带来的不确定性。

   PUT abc
   {
     "mappings": {
       "properties": {
         "name": {
           "type": "text",
           "fields": {
             "keyword": {
               "type": "keyword",
               "ignore_above": 256
             }
           }
         },
         "lastname": {
           "type": "keyword"  // 如果只需要精确匹配，直接定义为keyword
           // 或者
           // "type": "text",
           // "fields": {
           //   "keyword": {
           //     "type": "keyword",
           //     "ignore_above": 256
           //   }
           // }
         }
       }
     }
   }

2. 理解查询类型：
   • term / terms 查询：用于精确匹配未分析的字段（如keyword类型）或已分析字段中的单个词项。
   • match 查询：用于全文本搜索，它会对查询词进行分词处理，并查找分词后的词项。这通常是查询text类型字段的更合适方式。

     POST abc/_search
     {
     "query": {
     "match": {
       "lastname": "William" // match查询会对"William"进行分词，然后匹配
     }
     }
     }

3. 重新索引数据（Reindexing）：如果一个字段最初被动态映射为不理想的类型（例如，你希望lastname始终是keyword但它被映射为text），并且已经有大量数据写入，你可能需要创建一个新索引，定义正确的映射，然后将旧索引的数据重新索引到新索引中。

通过理解OpenSearch的动态映射机制以及text和keyword字段的区别，并掌握使用.keyword子字段或匹配分词后词项的查询策略，可以有效地解决新增字段查询无结果的问题，并构建更健壮、可预测的搜索应用程序。

# 的是  # 这类  # 这是  # 如果你  # 它会  # 当你  # 常见问题  # 文档  # 会对  # 创建一个  # app  # word  # 区别  # 字符串  # 转换为  # 字符串类型  # elasticsearch  # opensea 

相关栏目： <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 AI推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 SEO优化<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 技术百科<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 谷歌推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 百度推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 网络营销<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 案例网站<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 精选文章<？ｍｕｍａ echo $count; ?> 】