压赌注游戏玩法(中国)有限公司

赌钱赚钱app会切换到另一个副本尝试读取-压赌注游戏玩法(中国)有限公司

发布日期:2025-10-11 02:00    点击次数:80

赌钱赚钱app会切换到另一个副本尝试读取-压赌注游戏玩法(中国)有限公司

针对 HDFS 读取延时不牢固的问题,小米给与了如下两方面循序:

1. HDFS 快速超时与重试

HDFS 在读取数据时,会诓骗多副本机制,当一个副本的读取时候超越阈值后,会切换到另一个副本尝试读取。超市阈值由参数 dfs.client.socket-timeout 界限,默许是 60 秒。这导致初度读取的超时时间过长,在 HDFS 抖动或负载较高的情况下,会导致查询蔓延显赫增多。咱们通过将该阈值裁汰到 100 毫秒,让读取情况进行快速的超时重试,显赫裁汰了查询长尾,P99 性能普及 1 倍,总体性能普及 10%。

2. Doris 数据缓存

针对高并发查询场景,单纯的裁汰 HDFS 的重试超时时间,无法澈底的惩办 HDFS 查询蔓延高的问题。因此,咱们诓骗 Doris 的数据缓存时代,将热门数据缓存在土产货高速磁盘上,圆善惩办了高并发场景的查询蔓延问题。在开启缓存的情况下,从 5 并发到 80 并发,查询蔓延不错裁汰 25% 到 300%。 同期,获利于数据剪枝时代、高性能的算子,Doris 的合座查询并发时代是 Presto 的 5 倍。

发布于:湖南省

栏目分类
热点资讯