标签: 分布式系统
小数据的失落十年：分布式分析的错付
英文原文 | 微信原文 | 2025年05月23日 如果 2012 年 DuckDB 问世，也许那场数据分析向分布式架构的大迁移根本就不会发生。通过在2012年的Macbook笔记本上运行 TPC-H 评测，我们发现数据分析确实在分布式架构上走了十年弯路。 作者： Hannes Mühleisen，发布于 2025 年 5 月 19 日，英文 译评：薛永杰，数据库老司机，云数据库泥石流 太长不看：我们在一台 2012 年款 MacBook Pro 上对 DuckDB 进行了基准测试，想要弄清楚 …
英文原文 | 微信原文 | 2025年05月23日 如果 2012 年 DuckDB 问世，也许那场数据分析向分布式架构的大迁移根本就不会发生。通过在2012年的Macbook笔记本上运行 TPC-H 评测，我们发现数据分析确实在分布式架构上走了十年弯路。 作者： Hannes Mühleisen，发布于 2025 年 5 月 19 日，英文 译评：薛永杰，数据库老司机，云数据库泥石流 太长不看：我们在一台 2012 年款 MacBook Pro 上对 DuckDB 进行了基准测试，想要弄清楚 …
Etcd坑了多少公司？
前几天 影视飓风分享的 Pigsty / PostgreSQL 高可用案例 里面踩的一个雷在 X 上引起网友热议。 “因为 etcd 未开启自动压实功能，且默认仅为 2GB 容量”，ayanamist 评论到：“ 我倒要看看 etcd 这个傻逼 2G 的设计可以坑多少公司 ”。 etcd 的 slogan 是：“一个分布式的、可靠的键-值存储，用于存放系统中最为关键的配置数据”。 目前最常见的场景是用于存储 K8S 的元数据。当然类似 Patroni 这样的 PostgreSQL 高可用方案也可 …
前几天 影视飓风分享的 Pigsty / PostgreSQL 高可用案例 里面踩的一个雷在 X 上引起网友热议。 “因为 etcd 未开启自动压实功能，且默认仅为 2GB 容量”，ayanamist 评论到：“ 我倒要看看 etcd 这个傻逼 2G 的设计可以坑多少公司 ”。 etcd 的 slogan 是：“一个分布式的、可靠的键-值存储，用于存放系统中最为关键的配置数据”。 目前最常见的场景是用于存储 K8S 的元数据。当然类似 Patroni 这样的 PostgreSQL 高可用方案也可 …
分布式数据库是不是伪需求？
老冯按：最近关于分布式的讨论又开始热闹起来，比如白老师就发了一篇《分布式数据库真的是伪需求吗》。回头看看两年前写的《分布式数据库是伪需求吗？》，依然非常应景。所以在此修订重发。 随着硬件技术的进步，单机数据库的容量和性能已达到了前所未有的高度。而分布式(TP)数据库在这种变革面前极为无力，和“数据中台”一样穿着皇帝的新衣，处于自欺欺人的状态里。 太长不看\ 分布式数据库的核心权衡是：“以质换量”，牺牲功能、性能、复杂度、可靠性，换取更大的数据容量与请求吞吐量。但分久必合，硬件变革让集中式数据库的 …
老冯按：最近关于分布式的讨论又开始热闹起来，比如白老师就发了一篇《分布式数据库真的是伪需求吗》。回头看看两年前写的《分布式数据库是伪需求吗？》，依然非常应景。所以在此修订重发。 随着硬件技术的进步，单机数据库的容量和性能已达到了前所未有的高度。而分布式(TP)数据库在这种变革面前极为无力，和“数据中台”一样穿着皇帝的新衣，处于自欺欺人的状态里。 太长不看\ 分布式数据库的核心权衡是：“以质换量”，牺牲功能、性能、复杂度、可靠性，换取更大的数据容量与请求吞吐量。但分久必合，硬件变革让集中式数据库的 …
区块链与分布式数据库
区块链的本质，想提供的功能，及其演化方向，就是分布式数据库。 确切的讲，是 拜占庭容错（抗恶意节点攻击）的分布式（无领导者复制）数据库。 如果这种分布式数据库用来存储各种币的 交易记录，这个系统就叫做所谓的“XX币”。例如以太坊就是这样一个分布式数据库，上面除了记载着各种山寨币的交易记录，还可以记载各种奇奇怪怪的内容。花一点以太币，就可以在这个分布式数据库里留下一条记录（一封信）。而所谓 智能合约 就是这个分布式数据库上的 存储过程。 从形式上看，区块链 与 预写式日志 …
区块链的本质，想提供的功能，及其演化方向，就是分布式数据库。 确切的讲，是 拜占庭容错（抗恶意节点攻击）的分布式（无领导者复制）数据库。 如果这种分布式数据库用来存储各种币的 交易记录，这个系统就叫做所谓的“XX币”。例如以太坊就是这样一个分布式数据库，上面除了记载着各种山寨币的交易记录，还可以记载各种奇奇怪怪的内容。花一点以太币，就可以在这个分布式数据库里留下一条记录（一封信）。而所谓 智能合约 就是这个分布式数据库上的 存储过程。 从形式上看，区块链 与 预写式日志 …
一致性：过载的术语
一致性 这个词重载的很厉害，在不同的语境和上下文中，它其实代表着不同的东西： 在事务的上下文中，比如ACID里的C，指的就是通常的 一致性（Consistency） 在分布式系统的上下文中，例如CAP里的C，实际指的是 线性一致性（Linearizability） 此外，“一致性哈希”，“最终一致性”这些名词里的“一致性”也有不同的涵义。 这些一致性彼此不同却又有着千丝万缕的联系，所以经常会把人绕晕。 在事务的上下文中，一致性（Consistency） 的概念是：对数据的一组特定陈述必须始终成立 …
一致性 这个词重载的很厉害，在不同的语境和上下文中，它其实代表着不同的东西： 在事务的上下文中，比如ACID里的C，指的就是通常的 一致性（Consistency） 在分布式系统的上下文中，例如CAP里的C，实际指的是 线性一致性（Linearizability） 此外，“一致性哈希”，“最终一致性”这些名词里的“一致性”也有不同的涵义。 这些一致性彼此不同却又有着千丝万缕的联系，所以经常会把人绕晕。 在事务的上下文中，一致性（Consistency） 的概念是：对数据的一组特定陈述必须始终成立 …