2011 年文章归档
共 28 篇文章
pg中的数据结构一:可扩展哈希表一
二叉树搜索具有对数时间的表现有个假设:输入数据具有相当的随机性。现在我们看哈希表,这种数据结构,其在插入、删除、查询操作上也具有常数评价时间的表现,而且这种表现以统计为基础,不依赖数据的随机性。 我们先看看pg 里的哈希函数,再看pg 里 动态哈希表“dynmaic hashtable ” ( 我认为用 “可扩展哈希表” 更能体现“dynmaic hashtable ”的功能,更贴近中国人用词习惯,以后就用“可扩展哈希表”吧。 )结构、哈希表上的操作(增删查改)以及可扩展。 说哈希函数前先澄清一下 碰撞,碰撞根据使用的场合不同有两种情况,一是哈希函数在把普通值打散/ 计算出哈希值时可能产生的…
2011-12-30 20:56 · PostgreSQL内核
pg启动过程中的那些事七:初始化共享内存和信号一:初始化shmemIndex和信号
pg 现在要初始化另一块内存——共享内存 shared memory (以后 shared memory 有时会简写成 shmem ),在这块内存里, pg 存放数据、锁、各种 backend 进程等。 1 先上个图,看一下函数调用过程梗概,中间略过部分细节 初始化共享内存方法调用流程图 2 计算 shared memory 大小 话说 main()-> … ->PostmasterMain()-> … ->reset_shared() ,在 reset_shared () 这个函数里, pg 首先计算干 xxx 一堆事需要的内存大小 size ,然后分之。 首先我们看看都计算了哪些内存, …
2011-12-29 22:08 · PostgreSQL内核
pg启动过程中的那些事六:初始化SSL链接相关库
pg 到这儿检查参数 EnableSSL , 如果使能建立 SSL 连接, 就 初始化相关库。 pg 里安全相关的部分基本上是基于 OpenSSL 开发。搞网络安全的人没有不知道 OpenSSL 的,看到 OpenSSL 心中就有数了。国内的 VPN 、网银、安全支付等产品,基本上都是基于 OpenSSL 开发的。如果有兴趣可以先看看关于 OpenSSL 的资料,有本 E 文的书,名字忘了, 162 页左右吧,专门介绍 OpenSSL 的。看之前先认真看两本网络安全的教科书吧,要不然不看晕的人估计没几个。 这片文章是占坑的,到搞数据库安全专题的时候再讨论。 ^_^ 1 先上个图,看一下函数调…
2011-12-28 21:48 · PostgreSQL内核
pg的内存管理机制四:AllocSet/MemoryContext的内存再分配
话说 MemoryContextMethods 结构里的函数实现了pg 里AllocSet/MemoryContext 的内存管理机制,定义见下面。 typedef struct MemoryContextMethods { void *(*alloc) (MemoryContext context, Size size); /* call this free_p in case someone #define's free() */ void (* free_p ) (MemoryContext context, void *pointer); void *(*realloc) (Memo…
2011-12-22 20:43 · PostgreSQL内核
pg的内存管理机制三:AllocSet/MemoryContext实例删除和内存回收
话说 MemoryContextMethods 结构里的函数实现了pg 里AllocSet/MemoryContext 的内存管理机制,定义见下面。 typedef struct MemoryContextMethods { void *(*alloc) (MemoryContext context, Size size); /* call this free_p in case someone #define's free() */ void (* free_p ) (MemoryContext context, void *pointer); void *(*realloc) (Memo…
2011-12-22 06:11 · PostgreSQL内核
pg启动过程中的那些事五:初始化世界上现有行政区时区
话说初始化完全局时区后,初始化全部的时区。 从默认时区文件 %PostgreSQL Home%\share\timezone\Default 中读、解析世界上按行政区划现有的时区以及这些时区和UTC 的以秒记的时差到 临时 MemoryContext "TZParserMemory" 里的有序tzEntry ** 类型的timezone 数组base 里。然后把base 数组拷贝到 MemoryContext "TopMemoryContext" 里, 使datekn * 类型静态全局变量timezonetktbl 指向该数组 。最后删除 临时 MemoryContext "TZParser…
2011-12-20 21:17 · PostgreSQL内核
pg启动过程中的那些事四:初始化全局时区global_timezone
话说初始化和设置完 GUC 参数后,改变了当前工作文件夹,给数据集文件夹加了文件锁 postmaster.pid ,接着就是初始化时区设置,这些都跳过去了,后来发现初始化时区用到了 pg 里的动态哈希表,决定还是把这个写出来。 动态哈希表在 pg 里使用的地方很多, pg 使用它管理共享内存 shared memory 、锁、市区 timezone 等。 Linux 使用哈希表来管理内存、连接等。后面再讨论 pg 里的动态哈希表 dynmaic hashtable 。 1 先上个图,看一下函数调用过程梗概,中间略过部分细节 初始化 Timezones 的方法调用过程图 这一节写图中红色方框圈…
2011-12-19 21:14 · PostgreSQL内核
pg的内存管理机制二:AllocSet/MemoryContext的内存回收
话说 MemoryContextMethods 结构里的函数实现了pg 里AllocSet/MemoryContext 的内存管理机制,定义见下面。 typedef struct MemoryContextMethods { void *(*alloc) (MemoryContext context, Size size); /* call this free_p in case someone #define's free() */ void (* free_p ) (MemoryContext context, void *pointer); void *(*realloc) (Memo…
2011-12-09 20:29 · PostgreSQL内核
pg启动过程中的那些事三:加载GUC参数
1 先上个图,看一下函数调用过程梗概,中间细节有略 GUC 参数初始化分两步,第一步先读取 buildin/ compiled-in 的 GUC 参数默认值,这里包括全部的 GUC 参数,建立 GUC 参数相关结构变量,第二步读取 postgresql.conf 配置文件中的参数设置之。从上图中能看出来,这个读取并设置 postgresql.conf 中参数的过程还是挺复杂的。 2 初始化 GUC 相关数据结构并取 hardcode/buildin 的参数值。 pg 里的GUC 参数按设置的值分五种类型,分别是bool 、int 、real 、string 、enum ,根据这五种类型,定义…
2011-12-09 20:14 · PostgreSQL内核
pg的内存管理机制一:AllocSet的内存分配
1 AllocSet 的内存分配涉及到的方法和数据结构 话说 MemoryContextMethods 结构里的函数实现了pg 里AllocSet 和MemoryContext 的内存管理机制,定义见下面。 typedef struct MemoryContextMethods { void *(*alloc) (MemoryContext context, Size size); /* call this free_p in case someone #define's free() */ void (*free_p) (MemoryContext context, void *point…
2011-11-27 20:02 · PostgreSQL内核
pg启动过程中的那些事二:初始化PostmasterContext
1先上个示意图,看一下函数调用过程梗概,中间略过部分细节 前面标3的是初始化PostmasterContext 初始化PostmasterContext的方法调用流程图 2初始化PostmasterContext的过程 话说main()->…->PostmasterMain()->…->MemoryContextInit()->AllocSetContextCreate()(“->” 表示调用),初始化完TopMemoryContext和ErrorContext,这之后,main()->…->PostmasterMain()->AllocSetContextCreate()初始化Postma…
2011-11-27 09:11 · PostgreSQL内核
pg启动过程中的那些事一:初始化TopMemoryContext和ErrorContext
1先上个示意图,看一下函数调用过程梗概,中间略过部分细节 前面标1的是初始化TopMemoryContext 前面标2的是初始化ErrorContext 初始化TopMemoryContext和ErrorContext的方法调用流程图 2初始化TopMemoryContext的过程 话说main()->…->PostmasterMain()->…->MemoryContextInit()->AllocSetContextCreate()(以后用“->” 表示调用),AllocSetContextCreate()函数主要是初始化AllocSet类型的变量,AllocSet的类型是“AllocS…
2011-11-19 11:25 · PostgreSQL内核
数据库编程之编码转换实例--乱码分析
1问题描述 最近有人问我问题,说在Java中以UTF-8编码读UTF-8编码的文件test.htm,存入oracle数据库后再读出,一切正常。在Java中UTF-8编码读UTF-8编码的文件test.htm,存入kingbase数据库后再读出,文件中出现乱码,不知为何。 2具体现象 具体现象如下: Java中读UTF-8编码的文件test.htm,存入数据库后再读出,文件中出现乱码 原文件图如下: 3 存入数据库再读出后出现乱码如下: 注:前面两幅图中“合资公司双方出资比例的问题”前面的那个“・”变成了“ ”。 4 相关代码 下面是模拟这个过程的读写文件和写读数据库的java代码: impo…
2011-11-12 09:34 · 数据库编程
数据库字符集和编码转换
数据库管理系统支持某种编码,主要涉及三个方面: 数据库服务器支持。 数据访问接口支持。 客户端工具支持。 1 数据库服务器字符编码 : 数据库服务器支持某种编码,是指数据库服务器能够从客户端接收、存储以及向客户端提供该种编码的字符(包括标识符、字符型字段值),并能将该种编码的字符转换到其它编码(如UTF-8编码转到GBK编码)。 1.1指定数据库服务器编码: Postgresql: 创建数据库时指定: CREATE DATABASE … ENCODING … 可以取ASCII、UTF-8、EUC_CN、…… 1.2查看数据库编码 Postgresql: show server_encodin…
2011-11-12 09:17 · 数据库编程
PostgreSQL之憾
都是我个人观点 1 没有供调优用之执行计划缓存 2 没有供调优用之结果集缓存 3 没有alter system ***语句 4 如此大器,国内用户使用如此之少 还是应该先解决易用的问题 5 没有层次查询功能
2011-11-12 05:54 · PostgreSQL其他
北京2011-11-05 PostgreSQL用户交流会
11月5日,现场实到37人,比想象中的人多, 和北京的经济、信息化水平相比还不成比例,北京的数据库用户是不是都money多的没地方花了??? 从一个侧面也体现了举办此用户交流会的必要性。 下面是萧少聪,秦红胜,孙鹏讲解图片,谈了时势、应用、pg的主要发起人、开发环境等,手机拍的,效果不好。 逯永收组织的不错。 使我们从中受益,希望未来更好!
2011-11-11 22:42 · PostgreSQL其他
PostgreSQL备份恢复二:WAL归档--windows
0 创建 WAL 备份目录,比如: d:\pg_xlog_archive 1 修改 postgresql.conf 中的 archive_command 设置,比如: archive_command = 'copy "%p" d:\\pg_xlog_archive\\%f' 注:%p 要用双引号括起来处理安装目录中有空格的情况。 archive_mode = on wal_level='archive' 2 用psql登录数据库服务器,然后执行下面的过程 psql -Ubeigang < beigang_dump.pgdump: SELECT pg_reload_conf(); 3 psql…
2011-11-11 22:19 · PostgreSQL备份恢复
PostgreSQL备份恢复一:转储
总体上命令形式如下: pg_dump -h数据库服务器IP -hpg端口 -U用户名 -W密码 -F *备份文件的格式 -f 备份文件名 要备的数据库 pg_restore -h数据库服务器IP -hpg端口 -U用户名 -W密码 -d 数据库名 备份文件名 其中数据库服务器IP为本机可以省略,端口为默认端口可以省略 常用的对应逻辑备份恢复命令示例如下,这些命令我都试过,可以成功运行: 1 a 备份数据库 beigang pg_dump -Ubeigang -f beigang_dump.pgdump beigang b 恢复数据库beigang 恢复前先创建用户和数据库,然后执行恢复 cr…
2011-11-11 22:02 · PostgreSQL备份恢复