tyrantlucifer

代数 关系代数是Calcite的核心。每个查询都被表示为一棵关系运算符的树。你可以将一条SQL语句翻译为关系代数，也可以直接建立树状结构。 规则器规则使用保留语义的数学特性来转换表达树。例如，如果一个过滤操作没有引入其他输入的列，那么可以将一个过滤器下推至连接之前。 Calcite通过对关系表达式进行反复应用规划器规则来优化查询。一个成本模型指导了优化的整个过程，规划器生成一个替代的表达式，语义与之前表达式相同，但具有更低的成本。 规划过程是可扩展的。你可以添加自己的关系运算符、规划器规则、成本模型和统计数据。 代数构建 建立关系表达式的最简单方法时使用代数构建器RelBuilder，下面是一个示例： 表扫描 123456final FrameworkConfig config;final RelBuilder builder = RelBuilder.create(config);final RelNode node = builder .scan("EMP") .build();System.out.println(RelOptUtil.toString(n ...

教程 这是一个手把手并循序渐进的教程，展示了如何和Calcite建立连接。它使用了一个简单的适配器，使得一个包含了csv文件的目录看起来是一个包含数据库表的模式（schema）。Calcite负责其他工作，并提供了一个完整的SQL接口。 Calcite-example-CSV是Calcite的一个全功能适配器，可以读取CSV（逗号分割的值）格式的文本文件。值得注意的是，几百行的Java代码就足以提供完整的SQL查询能力。 CSV适配器也可以作为构建其他适配器的模板。尽管代码行数不多，但它涵盖了几个重要的概念： 使用SchemaFactory和Schema接口实现用户自定义的模式 在一个模型的JSON文件声明了模式 在一个模型的JSON文件声明了视图 使用Table接口实现用户自定义的表 确定了一个表的记录类型 一个表的最简单实现，实现了ScannableTable接口，直接枚举所有的行 一个更高级的实现，实现了FilterableTable接口，使得用户可以根据简单的谓词过滤出行 表的高级实现，实现了TranslatableTable接口，使其可以使用规划器规则翻译成关系运算符 下 ...

背景概述 Apache Calcite是一个动态数据管理框架。 它包含了构成典型数据库管理系统的许多部分，但是省略了一些关键性的功能：数据存储、处理数据的算法和一个用于存储元数据的元数据库。 Calcite有意不参与存储和处理数据的业务，正如我们将看到的，这个特性使得它成为在应用程序和一个或多个数据存储位置和数据处理引擎之间进行调解的绝佳选择。它也是建立数据库的一个完美的基础：只需要添加数据给它，它就可以成为你的最佳数据管理工具。 为了说明这一点，让我们创建一个空的Calcite的实例，然后添加一些数据给它： 1234567891011121314151617181920212223242526public static class HrSchema { public final Employee[] emps = 0; public final Department[] depts = 0;}Class.forName("org.apache.calcite.jdbc.Driver");Properties info = new Prope ...

概览 CMS（Concurrent Mark Sweep）垃圾回收器 采用标记清除算法 分为四阶段 初始标记，用户线程需要停顿 并发标记，用户线程不需要停顿 重新标记，使用增量更新，用户线程不需要停顿 并发清除，用户线程不需要停顿 缺点： 占用资源过高，降低程序吞吐量 浮动垃圾无法清理，需要等到下一次再处理，这就导致了cms不能等到老年代快要占满了才去进行垃圾回收，得需要预留一些空间给浮动垃圾，如果在并发清理期间无法分配内存至新的对象，那么会导致并发失败，此时虚拟机启用serial old垃圾回收进行处理 内存碎片过多 Garbage First垃圾回收器 面向局部回收的收集思路和基于Region的内存布局形式，在JDK9中，G1取代了Parallel Scavenge组合，G1的开创基于region的堆内存布局是他能够实现这个目标的关键，G1不再坚持固定大小以及固定数量的分代区域划分，而是把连续的Java堆划分成为多个大小相等的独立区域，每一个region都可以根据需要，扮演新生代的Eden区、Survivor区、或者老年代空间，收集器可以根据扮演不同角色的r ...

GC流程 一般虚拟机要开始GC的话需要进行GC Root的寻找和扫描，在找到GC Root之后进行遍历，进行可达性分析，标记然后清除 GC Root枚举实现 基于GC Root虚拟机要进行垃圾回收，但垃圾回收的第一个拦路虎出现了，如何快速找到GC Root？虚拟机它在开始垃圾回收的时候面对的是一块内存地址，如何从内存地址中快速找到GC Root的起始，这是我们要解决的议题，针对这个问题，虚拟机采用了一个OopMap的数据结构去记录GC Root的起始位置，这样虚拟机利用这个数据结构就可以快速找到GC Root并进行遍历 跨代引用？ 在垃圾回收中，分Minor GC和Full GC，也就是新生代GC和老年代GC，如果程序中存在着老年代中的对象引用了新生代对象的情况，那么在Minor GC的过程中为了寻找GC Root就会去扫描整个老年代的内存区域，这样代价是巨大的，为了解决这种跨代引用的问题，虚拟机同样采用了一个叫记忆集的数据结构去记录老年代中的哪块内存存在着跨代引用的情况，那么即使在出现跨代引用的情况之后，Minor GC也不需要去扫描整个老年代的内存区域，记忆集的实现在不同的虚拟机 ...

Jvm内存区域划分 新建对象流程 Java程序是如何运行起来的 对象的内存布局 jdk6与jdk7的不同 12345678class Test { public static void main(String[] args) { String str1 = new StringBuilder("hello").append("world").toString(); System.out.println(str1.intern() == str1) // false String str2 = new StringBuilder("ja").append("va").toString(); System.out.println(str2.intern() == str2) // true sun.misc.Version }} 1intern() 去查看当前字符串常量池里面是否有这个字符串的变量 ...

什么是垃圾回收？（Garbage Collection） 对于高级语言动态内存分配而言，一些对象随着程序线程的消亡不再进行使用，为了使程序效率更加高效，特有垃圾回收的技术来保证程序运行状态下能够健康的使用宿主机内存 如何判断对象已死，需要回收？ 引用计数法：对于一个对象而言，在对象中添加一个计数器，如果有人引用这个对象，计数器加一，反之，计数器减一，当计数器的值为0的时候，表示对象已经无人在使用，需要回收，但引用计数法也有缺点： 无法解决循环引用 有更多的不确定性 可达性分析算法：基本思路通过一系列称之为“GC Root”的节点开始向下搜索，如果对象到“GC Root”之间路不通，那么表示这个对象需要被回收，用数据结构的思想去解释，“GC Root”与对象之间形成了有向无环图，如果从“GC Root”去进行遍历，无法到达对象节点，那么表示这个对象已经无人再去使用，可以被定义为“GC Root”的路径有以下几点： 虚拟机栈帧中本地变量表引用的对象，例如当前方法中的参数、局部变量、临时变量 方法区中类属性静态属性引用的对象，例如Java类的引用类型静态变量 方法区中常量引用的对象 ...

2021.12.31 2021年终总结 在2021年的最后一天，耳机里播放着周杰伦的说好不哭，我写下了这篇年终总结。 2021年，对于全世界来说，是多灾多难的一年，疫情当道，洪灾泛滥，火山爆发，地震频繁，全世界都在经受着自然的考验；对我而言，2021年是自我治愈、自我救赎的一个年头，伴随着我的坏情绪，2021年在今日走到了尽头，画上一个圆满的句号。 今天是我跟前任分手的554天，也是我跟前任彻底失去联系的308天，说实话我并没有彻底从上一段感情中脱身而出，现在房间里还放满了充满着无数回忆的物件，不经意间还是会喊出前任的名字，认认真真忘掉一个人真的很难，我也在努力开始一段新的生活，可是星座的影响让我对于情感充满了感性，明知道已经不可能会有下文，可是还在无谓的幻想，原地踏步，可以说，从情感上，2021年我是失败的，也是无奈的一年。 2021年3月份的生日是天津可爱的同事陪我一起度过，有同组的大哥大姐，有不同组的兄弟姐妹，在天津的生活普通且安逸，每天不用加班，也不用打卡，天津固有的慢节奏让人不自觉地就会脚步放慢，享受这独有的生活气息： 在过完生日的几天之后，同在天津上学的大学好友也来找我 ...

前言 在Spark框架中，应用程序的提交离不开Spark Driver，而Spark Driver的初始化始终围绕SparkContext的初始化，可以说SparkContext是Spark程序的发动机引擎，有了它程序才能跑起来，在spark-core中，SparkContext重中之重，它提供了很多能力，比如生成RDD，比如生成广播变量等，所以学习SparkContext的组件和启动流程有助于剖析整个Spark内核的架构。 SparkContext组件概览 在SparkContext中包含了整个框架中很重要的几部分： SparkEnv：Spark的运行环境，Executor会依赖它去执行分配的task，不光Executor中有，同时为了保证本地模式任务也能跑起来，Driver中也有 SparkUI：Spark作业的监控页面，底层并没有采用前端技术，纯后端实现，用以对当前SparkJob的监控和调优，可以从页面观察到目前的Executor的jvm信息，每个job的stage划分和task划分，同时还可以观察到每个task处理的数据，用以发现数据是否倾斜 DAGScheduler：DA ...

前言 在面试中，面试官很容易问到B树这种数据结构，要去熟练的掌握这个数据结构还是有一定的难度，为了提升自身的技术深度，我特地花了一定的时间梳理和总结一下B树的全部概念与操作。 B树的概念 B树是一种多路平衡查找树，不同于二叉平衡树，他不只是有两个分支，而是有多个分支，一棵m阶B树(balanced tree of order m)是一棵平衡的m路搜索树，B树用于磁盘寻址，它是一种高效的查找算法。 B树的性质 根节点至少有2个子女 每个非根节点所包含的关键字个数x满足以下关系：⌈m/2⌉−1⩽x⩽m−1\lceil m/2 \rceil - 1 \leqslant x \leqslant m - 1⌈m/2⌉−1⩽x⩽m−1 所有叶子结点都在同一层 除根结点以外的所有结点（不包括叶子结点）的度数正好是关键字总数加1，故内部子树个数 k 满足：⌈m/2⌉⩽k⩽m\lceil m/2 \rceil \leqslant k \leqslant m⌈m/2⌉⩽k⩽m B树数据结构描述 一个B树结点包含了以下关键信息： 关键字数量 关键字数组指针 孩子数组指针 父亲结点指针 ...