在前面的文章中，我们介绍了在 Lucene7.5.0 中索引文件.dim&&.dii 的数据结构，从本篇文章开始介绍其生成索引文件。dim&&.dii 的内容，注意的是，由于是基于 Lucene8.4.0 来描述其生成过程，故如果出现跟 Lucene7.5.0 中不一 ....

作者： 梁尔舒，李昀晖 写在前面 我们之前应该都了解链表求交、求并的算法，但是很少在实际工作中见过这些算法是怎么体现的，解决了哪些场景下的问题，其实 lucene 解决链表求交并的算法非常漂亮。最近因为工作中需要排查线上总是出现某些检索 DSL 执行比较慢，在网上到处找底层具体执行的资料，发现资料少 ....

本文承接索引文件的生成（六）继续介绍剩余的内容，下面先给出生成索引文件。tim、.tip 的流程图。 生成索引文件。tim、.tip 的流程图 图 1： [图片] 统计每一个 term 的信息 图 2： [图片]   执行到该流程，我们需要将当前 term 的一些信息（图 1 中的 IntBlock ....

   本篇文章介绍索引文件的合并策略，某次提交(commit)或者刷新(flush)的所有索引文件属于一个新的段（Segment），所以也可以称为段合并(Segment Merge)。当 IndexWriter 索引中的数据有任意修改动作，它会调用 findMerges(...)方法通过某个合并策略 ....

这篇文章介绍 TieredMergePolicy，它是 Lucene4 以后的默认段的合并策略，之前采用的合并策略为 LogMergePolicy，建议先熟悉 LogMergePolicy 后再了解 TieredMergePolicy，这样对于两种合并策略的优缺点能一目了然，使得在不同业务使用对应的 ....

本文承接索引文件的生成（五）继续介绍剩余的内容，下面先给出生成索引文件。tim、.tip 的流程图。 生成索引文件。tim、.tip 的流程图 图 1： [图片]   上一篇文章中，我们介绍了执行 生成一个或多个NodeBlock 的触发条件，本文就其实现过程展开介绍，同样的，下文中出现的并且没有作 ....

在搜索阶段，每当 Lucene 找到一个满足查询条件的文档（Document），便会将该文档的文档号（docId）交给 Collector，并在 Collector 中对收集的文档号集合进行排序（sorting）、过滤（filtering）或者用户自定义的操作。   本篇文章将根据图 1 中的类图（ ....

第一小节 Lucene 常见查询的使用   从本篇文章开始介绍 Lucene 查询阶段的内容，由于 Lucene 提供了几十种不同方式的查询，但其核心的查询逻辑是一致的，该系列的文章通过 Query 的其中的一个子类 BooleanQuery，同时也是作者在实际业务中最常使用的，来介绍 Lucene ....

本文承接 https://www.6aiq.com/article/1586725343175。 第三小节 是否使用多线程 图 2： [图片]   在生成 IndexSearcher 对象时，用户可以提供参数 ExecutorService，调用下面的构造函数，来实现多线程搜索： public In ....

Bkd-Tree Bkd-Tree 作为一种基于 K-D-B-tree 的索引结构，用来对多维度的点数据(multi-dimensional point data)集进行索引。Bkd-Tree 跟 K-D-B-tree 的理论部分在本篇文章中不详细介绍，对应的两篇论文在附件中，感兴趣的朋友可以自行下 ....

原文地址： https://www.amazingkoala.com.cn/Lucene/Search/2019/0506/57.html    LRUQueryCache 用来对一个 Query 查询的结果进行缓存，缓存的内容仅仅是文档号集，由于不会缓存文档的打分（Score），所以只有不需要打分 ....

上篇文章 http://www.6aiq.com/article/1564413040138 详细介绍了 Lucene 索引表的实现，内容涉及关于 Terms Index 以及 Term Dictionary 的剖析。 此文将继续剖析 Lucene 倒排索引实现的另一部分核心内容： 倒排表（Post ....

Automaton      在介绍 Automation 类之前先介绍下有穷自动机的概念，有穷自动机分为确定型有穷自动机(DFA)跟不确定型有穷自动机(NFA)。由于本篇文章是为介绍 TermRangeQuery 作准备的，所以只介绍确定性有穷自动机。 确定型有穷自动机(Deterministic ....

FixedBitSet FixBitSet 类在 Lucene 中属于一个工具类（Util），它的其中一个用途用来存储文档号，用一个 bit 位来描述（存储）一个文档号。该类特别适合存储连续并且没有重复的 int 类型的数值。最好情况可以用 8 个字节来描述 64 个 int 类型的值。下面通过介绍 ....

当设置了 TermVector 的域生成了倒排表以后，将文档的词向量信息写到。tvx（vector_index）跟。tvd（vector_data）文件中。 数据结构 .tvd 图 1： [图片] PackedIntsVersion PackedIntsVersion 描述了压缩使用的方式，当前版本 ....

当 STORE.YES 的域生成了倒排表以后，将文档的域值信息写入到。fdt（field data）、.fdx（field index）文件中。 数据结构 .fdt 图 1： [图片] ChunkSize ChunkSize 用来描述压缩存储域值信息的方式，后面会详细介绍。 PackedIntsVe ....

  本文承接索引文件的生成（十一），继续介绍剩余的内容，为了便于下文的介绍，先给出生成索引文件.dim&&.dii 的流程图以及流程点构建 BKD 树的节点值（node value）的流程图： 图 1： [图片] 图 2： [图片]   在前面的文章中，我们介绍了图 2 中处理内部节 ....

  .tim（TermDictionary）文件中存放了每一个 term 的 TermStats，TermStats 记录了包含该 term 的文档数量，term 在这些文档中的词频总和；另外还存放了 term 的 TermMetadata，TermMetadata 记录了该 term 在.doc、 ....

  position 在 Lucene 中描述的是一个 term 在一篇文档中的位置，并且存在一个或多个 position。   payload 是一个自定义的元数据(mete data)来描述 term 的某个属性，term 在一篇文章中的多个位置可以一一对应多个 payload，也可以只有部分位 ....

原文地址： https://www.amazingkoala.com.cn/Lucene/yasuocunchu/2019/1217/118.html   为了能节省空间，Lucene 使用 PackedInts 类对 long 类型的数据进行压缩存储，基于内存使用率（memory-efficien ....