ELK日志系统报错：“statusCode“:429,“error“:“Too Many Requests“,“message“ Data too large

wylc123 1年前 ⋅ 749 阅读

ELK日志系统报错
报错信息如下：
{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [indices:data/write/bulk[s]] would be [2087165840/1.9gb], which is larger than the limit of [2040109465/1.8gb], real usage: [2087165392/1.9gb], new bytes reserved: [448/448b], usages [request=0/0b, fielddata=182738/178.4kb, in_flight_requests=448/448b, model_inference=0/0b, accounting=89449992/85.3mb], with { bytes_wanted=2087165840 & bytes_limit=2040109465 & durability=\"PERMANENT\" }"}
1
度娘了一下，大概意思就是给es的内存不够用了。然而有没有及时回收内存！
数据量太大导致内存不足，可以设置fielddata的内存限制，默认60%

解决办法一：修改配置文件
修改es配置文件，添加如下配置。
[root@sjyt-node-1 ~]# vim /etc/elasticsearch/elasticsearch.yml

# 避免发生OOM，发生OOM对集群影响很大的,揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%。
indices.breaker.total.limit: 80%

# 有了这个设置，最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间
indices.fielddata.cache.size: 10%

# fielddata 断路器默认设置堆的作为 fielddata 大小的上限。
indices.breaker.fielddata.limit: 60%

#request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 40%。
indices.breaker.request.limit: 40%

#最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间必须要添加的配置
indices.breaker.total.use_real_memory: false
去掉注释后：

indices.breaker.total.limit: 80%
indices.fielddata.cache.size: 10%
indices.breaker.fielddata.limit: 60%
indices.breaker.request.limit: 40%
indices.breaker.total.use_real_memory: false
解决办法二：动态设置
参考连接：https://blog.csdn.net/sdlyjzh/article/details/48035723

PUT /_cluster/settings
{
"persistent" : {
"indices.breaker.fielddata.limit" : "40%"
}
}
当fielddata断路器的大小超过设置的值，就会出现开头提到的Data too large。

总结
这次Data too large异常是ES默认配置的一个坑，我们没有配置indices.fielddata.cache.size，它就不回收缓存了。缓存到达限制大小，无法往里插入数据。

当前fieldData缓存区大小 < indices.fielddata.cache.size
当前fieldData缓存区大小+下一个查询加载进来的fieldData < indices.breaker.fielddata.limit
fielddata.limit的配置需要比fielddata.cache.size稍大。而fieldData缓存到达fielddata.cache.size的时候就会启动自动清理机制。

indices.breaker.request.limit限制查询的其他部分需要用的内存大小。indices.breaker.total.limit限制总（fieldData+其他部分）大小

参考：https://blog.csdn.net/qq_31677507/article/details/109723271?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-0.no_search_link&spm=1001.2101.3001.4242
参考：https://blog.csdn.net/weixin_43688870/article/details/117754075?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link