世界消息!金山云回港敲钟双重主要介绍上市 业技融合推进高质量发展新征程
2022年12月30日,中国知名独立云服务商金山云(股票代码KC NASDAQ;3896 HK)正式以介绍形式于香港交易所主板完成双重主要上市,不涉及新股融资。
请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指导。怎么配置?
(资料图片)
——问题来源:https://t.zsxq.com/09vv8rqZj
2、Elasticsearch 日志必知必会2.1 Elasticsearch 日志用途集群状态监测和故障诊断。2.2 Elasticsearch 日志缺省路径$ES_HOME/logs。如果命令行启动 ES,则日志输出信息也是命令行。2.3 Elasticsearch 日志基于组件Log4j 2https://logging.apache.org/log4j/2.x/2.4 Elasticsearch 日志配置文件log4j2.properties 。和 elasticsearch.yml 文件路径相同。2.5 Elasticsearch 日志配置内容命名规范日志随日期滚动策略(日志大小等条件设置)等。2.6 Elasticsearch 日志级别由低到高分别为:TRACE -> DEBUG -> INFO -> WARN -> ERROR -> FATAL,如下图所示。
这些大家并不陌生,日志级别越低(前提系统设置的话),打印输出的越多;日志级别越高,比如:FATAL,只是特定致命场景才会打印输出,一般遇不到。
2.7 Elasticsearch 默认日志类型调整方式前提:支持动态更新。
方式一:支持动态更新,无需重启。PUT/_cluster/settings{"persistent":{"logger.org.elasticsearch.discovery":"DEBUG"}}方式二:elasticsearch.yml 配置(静态配置方式,重启后生效)。
logger.org.elasticsearch.discovery:DEBUG方式三:log4j2.properties 配置(静态配置方式,重启后生效)
logger.discovery.name=org.elasticsearch.discoverylogger.discovery.level=debug3、日志调到最低级别,看能否输出检索DSL?
问题来了?改成最低TRACE级别,日志能输出咱们的日期请求吗?试试看。
那怎么办?如何输出请求日志?此路已然不同,我们只能另寻他路。除了基础日志,我们还有slowlog日志。
4、Elasticsearch slowlog日志必知必会4.1 Elasticsearc slowlog 用途见名释义,本质是:慢日志,又可以分为:慢检索日志和慢写入日志。
slowlog 用于显示:query 阶段 和 fetch 阶段的日志。
Elasticsearch 查询请求如下图所示。
图片来自 Elastic 官方博客
query阶段的核心步骤:
客户端发送请求到协调节点;协调阶段转发请求到索引的每个主或副本分片;分片本地查询完成后,将结果添加到本地的优先队列;每个分片将本地结果返回给协调节点,协调节点合并完成后,形成全局排序列表。fetch阶段的核心步骤:
协调节点接收到客户端请求后,将 GET 请求(来自query 阶段形成的全局排序列表结果数据)-转发给相关节点。接收到请求后的节点向协调节点返回结果数据。待全部结果数据都返回后,协调节点将结果返回给客户端。4.2 Elasticsearc slowlog 设置内容含义如下所示,拿 query 阶段举例(以实测为准):
query 请求耗时超过 500ms,打印 trace 日志。query 请求耗时超过 2s,打印 debug 日志。query 请求耗时超过 5s,打印 info 日志。query 请求耗时超过 10s,打印 warn 日志。index.search.slowlog.threshold.query.warn:10sindex.search.slowlog.threshold.query.info:5sindex.search.slowlog.threshold.query.debug:2sindex.search.slowlog.threshold.query.trace:500ms
fetch 阶段设置如下,原理同上。
index.search.slowlog.threshold.fetch.warn:1sindex.search.slowlog.threshold.fetch.info:800msindex.search.slowlog.threshold.fetch.debug:500msindex.search.slowlog.threshold.fetch.trace:200ms
index 写入日志设置如下,原理同上。
index.indexing.slowlog.threshold.index.warn:10sindex.indexing.slowlog.threshold.index.info:5sindex.indexing.slowlog.threshold.index.debug:2sindex.indexing.slowlog.threshold.index.trace:500msindex.indexing.slowlog.source:10004.3 slowlog 中 source:1000 含义是?
"index.indexing.slowlog.source":"1000"
如下这个问题至少被问到三次,问题大致如下:
默认:记录slowlog中_source的前1000个字符。设置为 true 含义:记录整个源请求。设置为 false 或 0 含义:不记录源请求。特别说明:原始_source被重新格式化,以确保它适合于单个日志行。4.3 Elasticsearch slowlog 如何设置?slowlog 日志显示不全、被截取了怎么办?
直接更新 setting 就可以,动态参数,支持动态更新。
PUT/my-index-000001/_settings{"index.search.slowlog.threshold.query.warn":"10s","index.search.slowlog.threshold.query.info":"5s","index.search.slowlog.threshold.query.debug":"2s","index.search.slowlog.threshold.query.trace":"500ms","index.search.slowlog.threshold.fetch.warn":"1s","index.search.slowlog.threshold.fetch.info":"800ms","index.search.slowlog.threshold.fetch.debug":"500ms","index.search.slowlog.threshold.fetch.trace":"200ms"}4.3 基于slowlog 打印请求日志
slowlog 既然可以基于阈值打印输出请求日志,阈值势必可以设置很低,最低设置为0,必然能打印出全部日志了。
试试看?
如下是基于 packets-2022-12-14 进行的 index、fetch、query 的 debug 设置。
PUTpackets-2022-12-14/_settings{"index.indexing.slowlog.threshold.index.debug":"0s","index.search.slowlog.threshold.fetch.debug":"0s","index.search.slowlog.threshold.query.debug":"0s"}
设置完成后,在 kibana 控制台随意加个 query 请求。
日志存储在:elasticsearch_index_search_slowlog.json 文件下,如下图所示。
如下图标红所示,任意的请求 DSL 被打印出来。
开篇问题得以求解完成!
5、小结Elasticearch 日志协助排查集群故障,慢日志协助排查写入、查询层面的慢写入、慢查询问题。集群规模大,可以独立采集到 Kibana 可视化展示,更为方便和快捷!
你有没有使用 Elasticsearch 日志?欢迎留言讨论。如何使用的?
参考[1]https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html
[2]https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html
推荐阅读全网首发!从 0 到 1 Elasticsearch 8.X 通关视频
重磅 | 死磕 Elasticsearch 8.X 方法论认知清单(2022年国庆更新版)
如何系统的学习 Elasticsearch ?
更短时间更快习得更多干货!
和全球1800+Elastic 爱好者一起精进!
比同事抢先一步学习进阶干货!2022年12月30日,中国知名独立云服务商金山云(股票代码KC NASDAQ;3896 HK)正式以介绍形式于香港交易所主板完成双重主要上市,不涉及新股融资。
(记者杨毅)大连市庄河海上风电场址V项目29日正式开工,这是东北地区开工的首个平价海上风电项目。大连庄河市市长孙功利表示,大连市庄河海上风
关于热水袋发霉怎么清洗的内容,包含充电的热水袋发霉了怎么清洗如何清洗充电的热水袋电热水袋发霉了怎么清洗,电热水袋可以洗吗、怎么清洗充电
“喜兔”票面以中国红为背景,拓印传统花纹图样,辅以辉月、祥云点缀;主视觉左兔门神手持琵琶,似怀抱吉祥踏月归,右兔门神手持如意,似揽尽春
皑皑白雪配上红灯笼,仿佛置身于童话世界,这就是中国雪乡——黑龙江省牡丹江市大海林林业局有限公司双峰林场。一度,双峰林场因雪而困。地处
佛山顺德区退烧药品免费领取药店:>>>>佛山顺德容桂街道26个社区(村)药品共享屋药品免费领取指南佛心大药房2022年12月21日至本月底,市民可以
智通财经APP讯,中国南方航空股份(01055)公布,经股东于临时股东大会上批准,罗来君获选为第九届董事会执行董事及蔡洪平获选为第九届董事会独
格隆汇12月28日丨亦辰集团公告,内容有关出售富滙证券全部已发行股本85%主要交易。董事会欣然宣布出售协议所订明先决条件已获达成,完成已于20
2022愤青句子精选96句1 积极的人在每一次艰难中看到机会,消极的人在每一次机会中看到某种艰难。2 当我们把情感更多的放在友情爱情上可往往最
网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可
智通财经APP获悉,协鑫科技午后拉升逾8%,截至发稿,涨6 03%,报2 11港元,成交额12 39亿港元。消息面上,协鑫科技包头基地一期10万吨首个2万
被褥有发霉味道说明是存在发霉的,找下到底是哪里发霉了,能清洗的一定要清洗,不适合清洗的要太阳暴晒的。如果晒太阳还祛除不了味道,就多晒
本期主播丨精灵“邓先生变了。”前阵子,孙俪微博晒照片“控诉”邓超。短短一句话,却充满爱意。画面中的邓超不是在遛狗,就是跟着老爷爷学毛
证券代码:601898 证券简称:中煤能源 公告编号:2022-044 中国中煤能源股份有限公
预计将于2023年2月发布的Go1 20有一个小的变化,对于那些大量使用错误包装的应用程序来说,可能会有效改进它们的错误处理方法。让我们看一下它的
同花顺数据中心显示,津荣天宇12月26日获融资买入130 20万元,占当日买入金额的4 02%,当前融资余额8658 00万元,占流通市值的8 16%,超过历史
证券代码:688618 证券简称:三旺通信 公告编号:2022-044 深圳市三旺通信股份有限公司 本公司董
12月26日横店东磁(002056)涨7 31%,收盘报18 35元,换手率1 97%,成交量31 41万手,成交额5 67亿元。该股为异质结电池HJT、光伏、新能源车零
中国网是国务院新闻办公室领导,中国外文出版发行事业局管理的国家重点新闻网站。本网通过10个语种11个文版,24小时对外发布信息,是中国进行
(记者李江宁)记者25日从青海省林草局获悉,日前,国家林草局公布了全国林业碳汇试点市(县)名单,青海省果洛州成功入选全国第一批18个试点市(县
□ 本报记者 张雪泓□ 本报通讯员 蒙向东凌大爷自幼智力残疾
【来源:综合自中国气象局】济源12月24日(周六)天气预报,白天天气现象晴,风向风力:东南风<3级,气温5摄氏度。夜间天气现象多云,风向风力:东
元旦假期越来越近,出游计划你安排好了吗?12月23日,汶川迎来首个冰雪旅游季,全新羌人谷滑雪场正式开园,激发文旅融合新动能,开启汶川文旅
河北12条措施支持重点药企加快生产保供 日前,河北省应对新冠肺炎疫情工作领导小组物资(防疫物资)保供组印发《关于支持重点药品企业加快
同花顺数据中心显示,皖通高速12月22日获融资买入71 66万元,占当日买入金额的7 66%,当前融资余额5614 34万元,占流通市值的0 67%,低于历史1