2012 年文章归档
共 60 篇文章
PostgreSQL服务过程中的那些事三:pg服务进程中的内存上下文
题外话:年底了,就以这篇博文结束2012吧 总结回顾一下 pg 服务进程中的内存上下文吧。 Pg 的内存管理就像经济体制,计划经济和市场经济并存,主要是共享内存和内存上下文。共享内存就是计划经济,启动时根据各相关参数计算好大小就固定了,使用时也严格按照计划使用。内存上下文就是市场经济,这一部分是按需使用。这两种内存的管理前面有几篇文章做了专门讨论,可以参考 pg的内存管理机制一:AllocSet的内存分配 http://blog.csdn.net/beiigang/article/details/7051589 PostgreSQL的内存管理机制二:AllocSet/MemoryContex…
2012-12-31 15:07 · PostgreSQL内核
PPAS命令行迁移工具
1 从其它数据库迁移到 PPAS 时可迁移的数据库对象间下表 2 安装 ppas 时会有安装 migreation toolkit 的选项,可以选择安装,也可以到 www.enterprisedb.com 下载安装 3 编辑 /opt/PostgresPlus/9.2AS/etc/toolkit.properties linux-np3p:/opt/PostgresPlus/9.2AS # cat -n etc/toolkit.properties SRC_DB_URL=jdbc:oracle:thin:@192.168.1.127:1521:orcl SRC_DB_USER=testuse…
2012-12-29 17:27 · EnterpriseDB
把数据库从oracle迁移到PPAS
PPAS 有两个迁移工具,一个图形界面的,一个命令行的,下面以图形界面为例。 1 首先需要在目标数据库系统 PPAS 上建立和源库对应的用户和对等的权限,再建立目标数据库。 create user " USERNAMEXXX " with superuser password 'xxxxxx'; create database DatabaseName owner="TYTUTOR" encoding='utf8'; 2 根据 jre 版本 ( 当前环境是 1.4 版 ) 把 oracle 数据库的驱动程序拷贝到如下目录 /opt/PostgresPlus/9.2AS/jre/lib/ext…
2012-12-24 17:46 · EnterpriseDB
64位RHEL6.2上安装PPAS9.2
0 下载 EnterpriseDB 产品要登录 http://www.enterprisedb.com/ 并注册,下载产品,然后再搞一个测试产品的 key 。 可以图形安装,可以文本安装,默认图形安装,安装步骤如下,安装参数可以后面加 --help 查看,文本安装在图形安装命令后面加 --mode text 1 运行安装包 2 现在安装语言 3 4 5 输入 http://www.enterprisedb.com/ 上的注册信息 6 7 选择要安装的组件 8 输入 key 9 10 11 12 13 14 15 16 17
2012-12-19 17:56 · PostgreSQL其他
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询六:执行器执行
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照,然后调用 pg_analyze_and_rewrite 方法,进行语义分析把 parsetree 转换成 queryt…
2012-11-07 20:13 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照,然后调用 pg_analyze_and_rewrite 方法,进行语义分析把 parsetree 转换成 queryt…
2012-10-31 20:37 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询四:分析重写成querytree
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照,然后调用 pg_analyze_and_rewrite 方法,进行语义分析把 parsetree 转换成 queryt…
2012-10-24 19:27 · PostgreSQL内核
postgresql 小技巧
Note : # PostgreSQL and PHP supports Batched Queries. #Awesome, huh? Version : SELECT VERSION() Directories : SELECT current_setting (‘data_directory’) SELECT current_setting (‘hba_file’) SELECT current_setting (‘config_file’) SELECT current_setting (‘ident_file’) SELECT current_setting (‘external_…
2012-10-16 19:36 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询三:获取内存快照
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照。内存快照和事务隔离级别紧密相关,其中 可重复读和序列化隔离级别每个数据库事务使用一个快照,读未提交和读已提交隔离级别每…
2012-10-16 19:31 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询二:SQL解析为parsetree
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。 1 下面是解析 SQL 语句的调用序列图。 Postgres 服务进程简查之开始事务调用序列图 上图红色方框中显示了解析 SQL 语句的方法调用过程,在 raw_parser 方法中对 S…
2012-10-09 19:50 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询一:开启事务
在《 PostgreSQL 服务过程中的那些事二: pg 服务进程处理简单查询概览 》里话说以下面的例子对简单查询分支进行讨论,并给出了简单查询方法调用序列,下面就从这儿开始,先回顾一下上节点内容。 进入简单查询分支处理方法 exec_simple_query 后的处理基本上涵盖了《数据库系统实现》这本书里的内容。处理量相当大,先根据流程图概览一下处理过程。为了减小图的大小,把 PostgresMain 以前的调用流程略了。在以后讨论简单查询时 PostgresMain 以前的调用流程也省略了,要回顾可参见《 PostgreSQL 服务过程中的那些事二: pg 服务进程处理简单查询概览 》里…
2012-09-25 19:55 · PostgreSQL内核
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.八:加载DB基础设施,完成服务进程初始化
话说调用 InitPostgres 方法给 portgres 服务进程做相关初始化,这个方法里初始化了 relcache 和 catcache ,初始化了执行查询计划的 portal 的管理器,填充本进程 PGPROC 结构相关部分成员等,上一节讨论了 portal 管理环境的初始化,这一节继续讨论剩余的相关初始化。 1 先看 InitPostgres 方法的调用序列梗概图 InitPostgres 方法的调用序列梗概图 InitPostgres 方法为初始化这个 postgres 服务进程做了一系列的工作,具体如下: ( 1 )调用 InitProcessPhas e2 方法,把本进程的 …
2012-09-18 21:02 · PostgreSQL内核
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.七:初始化portal管理环境
话说调用 InitPostgres 方法给 portgres 服务进程做相关初始化,这个方法里初始化了 relcache 和 catcache ,初始化了执行查询计划的 portal 的管理器,填充本进程 PGPROC 结构相关部分成员等,上一节讨论了 relcache 管理环境的初始化,这一节继续讨论执行 sql 的 portal 管理器的初始化。 1 先看 InitPostgres 方法的调用序列梗概图 InitPostgres方法的调用序列梗概图 InitPostgres方法为初始化这个postgres服务进程做了一系列的工作,具体如下: (1)调用 InitProcessPhas e…
2012-09-11 19:58 · PostgreSQL内核
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.六:初始化系统表缓存catcache
话说调用 InitPostgres 方法给 portgres 服务进程做相关初始化,这个方法里初始化了 relcache 和 catcache ,初始化了执行查询计划的 portal 的管理器,填充本进程 PGPROC 结构相关部分成员等,上一节讨论了 relcache 管理环境的初始化,这一节继续讨论 catcache 的初始化。 1 先看 InitPostgres 方法的调用序列梗概图 InitPostgres 方法的调用序列梗概图 InitPostgres 方法为初始化这个 postgres 服务进程做了一系列的工作,具体如下: ( 1 )调用 InitProcessPhas e2 方…
2012-09-04 20:51 · PostgreSQL内核
PostgreSQL启动过程中的那些事十五.一:pg_hba.conf的用法
前几天配pgcluster,改错了pg_hba.conf文件,查了好一阵子。这个文件网上也有写的,现在把下面两篇博文合起来放在这儿备查。 http://swingfly.iteye.com/blog/508465 http://francs3.blog.163.com/blog/static/4057672720113243113534/ 还有篇文章写的不错,也加在最后,原文地址在下面 http://blog.sina.com.cn/s/blog_6c11273c0100lfap.html ------------------------- pg_hba.conf是设置访问认证的主要文件,格…
2012-09-02 17:36 · PostgreSQL其他
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.五:初始化relcache管理环境
话说调用 InitPostgres 方法给 portgres 服务进程做相关初始化,这个方法里初始化了 relcache 和 catcache ,初始化了执行查询计划的 portal 的管理器,填充本进程 PGPROC 结构相关部分成员等,这一节讨论这个方法。 1 先看 InitPostgres 方法的调用序列梗概图 InitPostgres 方法的调用序列梗概图 InitPostgres 方法为初始化这个 postgres 服务进程做了一系列的工作,具体如下: ( 1 )调用 InitProcessPhas e2 方法,把本进程的 PGPROC 结构注册到 PGPROC 数组,就是让 共享…
2012-08-28 20:47 · PostgreSQL内核
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询梗概
话说客户端发起请求, pg 服务器为该请求启动一个 postgres 访问进程为该客户端通过访问,建立了连接。这个 postgres 访问进程进入无限循环,等待客户端请求并为其通过服务,直到进程终止,连接断口。这节就看客户端向 postgres 服务进程发出请求的处理过程。 1 Postgres 服务进程处理请求的无限循环调用序列图 上图大红色方框中显示了 postgres 服务进程处理客户端访问的无限循环调用序列。我以一个简单的例子来展现处理简单查询的过程,就是走了上图中小红色方框中方法 execu_simple_query 。使用的例子如下: 先准备试验环境:创建数据库 TEST ,在里…
2012-08-21 21:04 · PostgreSQL内核
PostgreSQL服务过程中的那些事一:启动postgres服务进程二:建立连接完成
3 这节主要讨论 pg 服务进程 postgres 进程到了 PostgresMain , 所有后台进程,交互或其它进程从这儿开始。 进入 PostgresMain 后,解析客户端命令行参数 dbname ;做文件、存储、缓存的初始化;设置合适的信号处理句柄;调用 InitPostgres 方法给 portgres 服务进程做相关初始化,这个方法里初始化了 relcache 和 catcache ,初始化了执行查询计划的 portal 的管理器,填充本进程 PGPROC 结构相关部分成员等,这个方法做的事情较多并值得花点精力,后面单列一个主题讨论;删除 内存上下文 PostmasterCon…
2012-08-13 18:50 · PostgreSQL内核
PostgreSQL服务过程中的那些事一:启动postgres服务进程一
到pg 服务进程了,打算搞一个完整但简单的查询例子,从解析树到分析树到执行计划树,简论一下pg 对于查询的整个处理过程(复杂点的各种树的图就太大了)。 话说 pg 启动后, postmaster 进程进入无限循环,等待客户端请求并为之提供请求的服务(参见《 pg 启动过程中的那些事十七: serverloop 》)。在无限循环里, postmaster 进程通过调用操作系统接口 select 定期检查是否有客户端服务请求,如果没有,继续循环,如果有,就创建一个 postgres 子进程为其提供服务。 。 1 先上个图,看一下函数调用过程梗概,中间略过部分细节 fork服务进程postgres…
2012-08-08 14:42 · PostgreSQL内核
PostgreSQL启动过程中的那些事十九:walwriter进程二
3 这节主要讨论 walwriter 进程到了 WalWriterMain ,设置合适的信号处理句柄, 创建一个资源属主以保持对本进程资源的跟踪 , 创建一个本进程的所有工作都在其内做的内存上下文 "Wal Writer" ,创建这个内存上下文是为了本进程在错误恢复期间能重置 context 并且因此避免可能的内存泄漏。 设置错误跳跃点。接着不堵塞信号(当 postmaster 进程 fork 本进程时用 PG_SETMASK(&BlockSig) 堵塞了他们)。然后进入无限循环,检查并处理任何请求或者最近收到的信号。然后调用 XLogBackgroundFlush 把相应 XLOG 写入事…
2012-08-03 16:53 · PostgreSQL内核