字节跳动基础架构多篇自主工作亮相数据管理顶会SIGMOD25

数据管理领域的顶级会议SIGMOD'25近日在德国柏林召开。来自世界各地的顶尖高校、学者和科技公司汇聚在柏林参与这一年一度的数据管理盛会。字节跳动3篇论文入选，包括1篇research track（被评委称之为第一个基于语义信息进行NDV估计的工作），2篇industry track。论文作者全部来自字节跳动基础架构团队。本文对3篇论文做概要解读，并附上论文地址供详细阅读。

除了3篇论文外，字节跳动基础架构美国研究团队的Peng Li获得了SIGMOD25 Jim Gray Doctoral Dissertation Award，奖项创立于 2006 年以数据库先驱、图灵奖得主 Jim Gray 命名以纪念他对数据库研究的巨大贡献，该奖项旨在表彰数据库及大规模数据管理领域中年度最杰出的博士论文。

Number of Distinct Values（NDV）估计是数据科学领域的基础工作，常用来做统计分析（如数据库SQL优化的基础）。现有的NDV估计方法（无论是统计模型还是学习模型）可以分为基于sketch和基于采样的两类，前者依赖扫描全部数据，开销很大；后者需要随机采样数据，然后根据基于采样数据去计算NDV的值。尽管基于采样的算法相比基于sketch的算法有更低的代价，但是数据采样仍然是整个过程中最耗时、开销最大的环节。如何减少数据采样的量，甚至无需采样就能得到较为准确的NDV是该领域的难题和挑战。

因此本文目标是设计一个预训练模型，根据数据库schema中蕴含的语义信息而不需要采样数据（或尽量少的进行采样）就可以预测NDV，达到开箱即用的目的。整体架构采用预训练模型PLM + Self-Attention + MLP。其中PLM使用BERT模型（参数frozen），只用来做语义信息的embedding。Self-attention是用来训练，主要作用是把不同column关联起来，增加信息量。MLP用来做最后的输出。输入是库表schema和统计信息，采样数据为可选项，输出是目标列的NDV（问题形式化参见论文）。也就是说在无需采样数据的情况下，只需要元信息便可以直接预测NDV，从而最大程度上减少采样开销。实验结果显示在无采样数据的情况下，传统方法是无法工作的（因为必须要有采样数据作为输入），而本文提出的方法PLM4NDV是可以工作的。随着采样数量的提升，PLM4NDV的效果相比传统方法都是最好的。

论文地址：https://arxiv.org/pdf/2504.00608

现代大型互联网平台需要支撑海量租户使用 NoSQL 数据库（如键值存储），这些租户业务差异大（资源需求差异大、数据特征多样）、访问模式高度动态（突发流量、冷热变化剧烈），传统架构难以兼顾资源效率与租户性能隔离。本文主要针对的问题和挑战包括：

缓存命中影响租户估算：缓存命中会显著改变实际资源使用，导致计费不准确、流量控制困难。

突发流量与冷热变化：难以预测流量、key 热点频繁变更，易导致抖动。

节点资源失衡：单节点可能出现 CPU 与磁盘利用不均衡，导致资源池总体利用率低的问题。

为了解决上述问题，字节跳动提出并实现了ABase，本文系统的阐述了ABase的设计理念和四项关键机制：

缓存感知隔离机制： 设计了兼顾缓存命中率的请求单元（RU）模型，在代理层和数据节点层实施请求限制。数据节点内部采用双层加权公平队列（WFQ）调度，精准区分CPU计算与磁盘I/O资源消耗，显著提升多租户间的资源隔离精度。

分层协同缓存机制：在代理层提出了结合自动更新的LRU缓存（Auto-Update LRU）与限制扇出哈希策略（Limited Fan-out Hashing），协同应对热点Key访问与缓存命中率骤降问题，降低资源放大效应；在数据节点层实现基于尺寸感知的LRU缓存（Size-Aware LRU），针对不同大小的数据项采用差异化淘汰策略，有效提升缓存命中率。

预测性弹性扩缩容策略： 针对非周期性突发、周期多样及趋势多变等负载预测挑战，提出融合自适应周期、多模型集成的预测方案（Ensemble-based forecasting），实现精准的负载预测与弹性资源调整。

多资源协同重调度算法： 提出启发式多资源重调度算法，在效率与效果间取得平衡，优化资源池内数据节点的流量与存储负载均衡，全面提升资源利用率。

实验结果显示：在真实生产环境中，ABase 支撑超过 13B QPS、上 EB 级数据规模。与现有方案相比，ABase 实现更低的延迟、更平稳的资源使用，并显著提升了系统利用率和稳定性。预测性扩容减少了线上 65%的紧急扩容工单，预测性缩容的用户侧账单年化收益约 2.7 亿；重调度算法将 RU 和磁盘不均衡度降低74.5%和 84.8%。

论文地址：https://arxiv.org/abs/2505.07692

随着现代系统的复杂性不断增加，服务可靠性工程师（SRE）和值班工程师（Oncall Engineer）在处理海量非结构化日志时面临严峻挑战。这一困境源于大规模分布式系统中众多组件产生的格式各异、数量庞大的日志数据。在这种情况下，日志解析成为解决此类问题的关键技术手段。然而，目前市场上的大多数日志服务仍然依赖于手动配置日志模板（通常是正则表达式）的方法来进行日志解析。这种方法在面对复杂多变的日志模式时显得力不从心，尤其是当系统规模扩大、组件增多时，手动维护这些解析规则变得异常困难且容易出错。因此，自动化的日志解析能力对于运维人员高效分析系统状态至关重要。更进一步，自动化日志解析还是众多高级 AIOps 方法的基础设施，包括但不限于日志异常检测、日志模式匹配、根因分析等关键技术。

为了应对这些挑战，我们推出了 ByteBrain-LogParser，这是一个专为云服务环境量身定制的综合框架。ByteBrain-LogParser 包括离线训练阶段和在线匹配阶段。

在离线训练阶段，系统首先从目标日志流中采样一批日志数据。这些日志经过预处理后，使用层次聚类算法将其组织成树状结构。我们特别选择了层次聚类算法，正是考虑到云环境中不同应用场景对日志解析精度的多样化需求。层次聚类能够自然地构建一个多层次的模板体系，使系统能够在后续匹配阶段提供不同精确度的解析结果，而无需重新训练模型。聚类过程采用自底向上的方法，从单条日志作为初始叶节点开始，逐步合并相似的日志聚类，形成一个多层次的模板树。树中的每个节点代表一个日志模板，而树的不同层次对应不同的精度级别——越接近叶子节点的模板越精确，越接近根节点的模板越通用。聚类过程使用位置敏感的相似度计算和饱和度评分机制，确保生成的模板既准确又有效率。

离线训练不是一次性执行的过程，而是根据系统配置定期执行。具体来说，系统会在以下两种情况下触发离线训练：一是按照预设的时间间隔（如每天或每周）定期执行，确保模板库能够适应日志模式的渐进变化；二是当新的日志主题（topic）积累了足够数量的日志记录后立即执行，以快速适应新出现的日志类型。这种双重触发机制确保了系统既能保持对现有日志模式的高效解析，又能迅速适应新出现的日志格式，提高了整个框架的适应性和鲁棒性。

在线匹配阶段，系统接收实时流入的日志，并将其与预先训练好的模板进行匹配。用户可以通过设置精度阈值参数来控制匹配过程，较低的阈值会导致系统使用树的较深层次进行更精细的模板匹配，而较高的阈值则使系统使用树的较浅层次进行更通用的模板匹配。这种动态调整精度的能力是 ByteBrain-LogParser 的关键创新，它使用户能够根据具体应用场景的需求灵活平衡精度和效率，无需重新处理原始日志。匹配完成后，系统从原始日志中提取变量值，并将解析结果返回给用户。

ByteBrain-LogParser 还实现了增量更新机制，利用定期执行的离线训练结果更新模板树，确保系统能够适应不断演变的日志模式。此外，系统采用了多种优化技术，包括哈希编码、模板索引和结果缓存，进一步提高了处理效率和存储效率。这些设计使 ByteBrain-LogParser 能够在保持高解析精度的同时，实现卓越的吞吐量和灵活的适应性，满足云环境中日志解析的严苛需求。

实验评估表明，ByteBrain-LogParser 在 LogHub 和 LogHub-2.0 数据集上分别达到 0.98 和 0.90 的平均准确率，接近最先进的方法。在效率方面，它平均每秒处理 229,000 条日志，比最快的基线方法快 840.68%，比其他方法快 1-3 个数量级。这种卓越性能使 ByteBrain-LogParser 成为云环境中理想的日志解析解决方案。

通过这些创新，ByteBrain-LogParser 不仅解决了传统方法的局限性，还为用户提供了一个高效、灵活且精确的工具，帮助他们更好地理解和管理云环境中的系统行为。无论是日常监控、异常检测还是故障诊断，这项服务都能为用户提供宝贵的支持，使他们能够更加从容地应对云计算环境中的各种挑战。

论文地址：

https://arxiv.org/abs/2504.09113