ITeye博客

BeiGang的博客

BeiGang · 共 94 篇文章

PostgreSQL的“孔雀开屏”式程序架构

看着下面这个图, 就想到了“孔雀开屏”。从 main 开始经过细致、周密的准备, pg 启动了 postmaster 进程、系统日志进程、昙花一现的启动进程、后台写进程、写 WAL 日志进程、……,最后在服务器段抛出一句 ” database system is ready to accept connections ” ,开始准备对外提供服务。如果这时有客户端请求,就启动 postgres 服务进程提供服务。 从 main 开始,初始化内存上下文、设置时区、设置行政区时间、设置 SSL 、分配共享内存、在共享内存里初始化一系列对象和设施、设置文件描述、初始化后台进程列表、设置信号处理句柄、…

2012-07-17 18:20 · PostgreSQL其他 · 评论(0)

PostgreSQL启动过程中的那些事十六:启动进程三:CheckPointGuts刷出共享内存里所有数据

话说启动进程调用 StartupXLOG 启动 xlog ,根据情况,如果需要就排除系统故障引起的数据库不一致状态,做相应的 REDO 或 UNDO ,然后创建一个检查点,把所有共享内存磁盘缓冲和提交数据缓冲写并文件同步到磁盘、把检查点插入 xlog 文件、更新控制文件,使数据库达到一种状态 。 这节接着讨论启动进程在创建检查点时调用的 CheckPointGuts 方法(在创建重启点时也会调用这个方法)。 CheckPointGuts 方法功能是刷出所有共享内存中的数据到磁盘并做文件同步,共享内存中的数据包括 clog 、 subtrans 、 multixact 、 predicate …

2012-07-12 16:24 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十七:ServerLoop

话说 main()->PostmasterMain()->StartupDataBase() , fork 了启动进程,根据情况处理系统故障并启动了 xlog ,然后启动进程退出。 Postmaster 进程响应启动进程退出信号, fork 了后台写进程、 WAL 日志写进程、 AUTOVACUUM 进程、归档进程、统计进程这些辅助进程。然后, postmaster 进程进入了无限循环,等待客户端请求到来,为其提供服务;并根据需要检查系统日志集成、后台写进程、 WAL 日志写进程、 AUTOVACUUM 进程、归档进程和统计进程是否正常运行,如果没有,就重启相关进程。 1 先上个图,看一下函…

2012-07-08 19:30 · PostgreSQL内核 · 评论(0)

工作中linux上装数据库经常用到的命令

1 若能远程操作,在服务器上设置ssh服务 a、修改sshd_config文件,命令为:vi /etc/ssh/sshd_config b、将#PasswordAuthentication no的注释去掉,并且将NO修改为YES c、将#PermitRootLogin yes的注释去掉 d、重新启动SSH服务,命令为:/etc/init.d/sshd restart e、验证SSH服务状态,命令为:/etc/init.d/sshd status 2 看磁盘容量 df -h 3 查看系统版本 uname -a 4 查看磁盘驱动器 fdisk -l 5 加载光盘 mount -t iso9660…

2012-07-05 10:46 · OS-Linux · 评论(0)

PostgreSQL相关进程分类

PostgreSQL相关进程分类: ------------ 转载请著明出处,来自博客: blog.csdn.net/beiigang beigang.iteye.com

2012-07-01 21:28 · PostgreSQL其他 · 评论(0)

PostgreSQL启动过程中的那些事十六:启动进程二

这节主要讨论启动进程到了 StartupXLOG 。根据情况,如果需要就排除系统故障引起的数据库不一致状态,做相应的 REDO 或 UNDO ,然后创建一个检查点,把所有共享内存磁盘缓冲和提交数据缓冲写并文件同步到磁盘、把检查点插入 xlog 文件、更新控制文件,使数据库达到一种状态,设置共享内存中 XLogCtl 、 ShmemVariableCache 等对象信息 ;如果不需要,就根据控制文件从 xlog 文件读取最后的检查点信息,设置共享内存中 XLogCtl 、 ShmemVariableCache 等对象信息;启动完 XLOG ,启动进程完成使命,自己做了了断, postmaste…

2012-06-24 16:32 · PostgreSQL内核 · 评论(0)

PostgreSQL的存储系统二:REDOLOG文件存储结构

Pg XLOG 文件(常说的 REDOLOG )名字的命名方法是在 XLogFileName 宏里定义的,分别由时间线 ID 、日志 ID 、段 ID 的八位 16 进制数依次构成。例如 00000001000000010000008F 。 #define XLogFileName (fname, tli, log, seg) \ snprintf(fname, MAXFNAMELEN, "%08X%08X%08X" , tli, log, seg) 不同的段 ID 对应不同的物理 XLOG 日志文件,日志 ID 是逻辑概念,有多个物理 XLOG 日志文件组成。 Pg XLOG 文件(常说的…

2012-06-20 19:56 · PostgreSQL内核 · 评论(0)

PostgreSQL的存储系统一:控制文件存储结构

Pg 控制文件 pg_control 里存储的数据是一个 ControlFileData 结构。 控制文件尽量保持小于 512 个字节以使其适合一个典型的磁盘驱动的物理簇的大小。这会减少由于电源故障而写控制文件直接失败的可能性。但控制文件的物理大小是 8K ,这个远大于 512 个字节。这样做是为了控制文件格式变化时保持物理大小不变,如果正在读一个不兼容的文件,以使 ReadControlFile 能传递一个合适的错误版本控制文件信息而代替一个读错误。系统里定义了和自己匹配的控制文件版本变量 PG_CONTROL_VERSION ,启动时会做系统和控制文件的匹配校验。 1 控制文件里存储了唯…

2012-06-20 19:45 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十六:启动进程一

话说 pg 中有个昙花一现的进程“启动进程”(“ startup progress ”),做了启动 XLOG 、验证数据库一致性、根据需要做数据库恢复和创建检查点等事情(参见《 pg 启动过程中的那些事十五 StartDataBase 梗概》),现在来讨论这个进程。 1 StartupDataBase 调用流程略图 话说 Main()->PostmasterMain()->StartupDatabase() ,启动数据库, StartupDatabase 方法其实就是 StartChildProcess 方法。还有启动后台写进程的方法 StartBackgroundWriter 、 WAL …

2012-06-18 21:45 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十六:StartDataBase梗概

这一节到了 pg 的高潮, StartupDataBase 启动数据库。 经过细致甚至有些枯燥(这中间我中断了几次就是有这感觉,干这行吗,还是搞清楚了心里踏实。)的准备,激动人心的时刻到了, pg 要开始“ high ”了, pg 人的原话就是“ We're ready to rock and roll... ”。 一个 StartupDataBase 方法涉及到的方法数十乃至上百,涉及到的代码有数万行,甚至可以到十万行这个数量级,搞到 word 文档里有几百页,把这些存在复杂逻辑的代码用几页几十页的文档写出来有很大挑战,下面开始讨论吧。 话说 main()->PostmasterMain(…

2012-06-10 20:50 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十二.五:启动系统日志进程syslogger

这一节 pg 启动系统日志进程 。 1 先上个图,看一下函数调用过程梗概,中间略过部分细节 SysLogger 启动方法调用流程图 2 初始化 syslogger 进程 话说 main()-> … ->PostmasterMain()-> … ->SysLogger_Start() ,调用 logfile_getname 获取系统日志文件名,调用 logfile_open 打开给文件,然后调用 syslogger_forkexec ,组织好参数“ postgres –forklog ” 。 再调用 internal_forexec() , fork 一个新的系统日志进程。 这个新的系统日志进…

2012-06-10 20:42 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十五:加载客户端认证文件

现在离数据库启动过程的高潮只有几步之遥,这几步比较简单,简要描述之。 这几步包括: 八:设置虚拟文件描述符 九:初始化活跃 backend 进程列表 十:创建 opts 文件 十一:保存非默认 GUC 参数到文件 十二:为 postmaster 进程安装信号句柄 十三:为统计进程启动准备资源 十四:为 autovuc 进程启动做条件检查 十五:加载客户端认证配置文件 这一节 pg 加载 pg_hba 和 pg_ident 配置文件,用于客户端认证。 Pg_ident 文件记录 OS 用户和数据库用户的用户名映射, pg_hba 用于配置认证策略。 这两个文件的配置方法网络上有文章从使用的角度…

2012-06-04 20:39 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十三_十四:初始化统计进程需要的资源、为autovuc进程启动做条件检查

现在离数据库启动过程的高潮只有几步之遥,这几步比较简单,简要描述之。 这几步包括: 八:设置虚拟文件描述符 九:初始化活跃 backend 进程列表 十:创建 opts 文件 十一:保存非默认 GUC 参数到文件 十二:为 postmaster 进程安装信号句柄 十三:为统计进程启动准备资源 十四:为 autovuc 进程启动做条件检查 十五:加载客户端认证配置文件 这一节 pg 调用 pgstat_init 方法,主要是给统计进程初始化 一个发送和统计信息的UDP 套接字,并验证这个UDP 套接字,以备后面启动统计进程时使用。如果成功创建了UDP 套接字,设置该套接字为非阻塞IO ,以保证…

2012-05-30 08:09 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事十二:为postmaster进程设置信号句柄

现在离数据库启动过程的高潮只有几步之遥,这几步比较简单,简要描述之。 这几步包括: 八:设置虚拟文件描述符 九:初始化活跃 backend 进程列表 十:创建 opts 文件 十一:保存非默认 GUC 参数到文件 十二:为 postmaster 进程安装信号句柄 十三:为统计进程启动准备资源 十四:为 autovuc 进程启动做条件检查 十五:加载客户端认证配置文件 再接着调用 pqinitmask 方法和 pqsignal 方法,为 postmaster 进程安装信号句柄 pqinitmask(); PG_SETMASK(&BlockSig); pqsignal(SIGHUP, SIGHU…

2012-05-23 21:38 · PostgreSQL内核 · 评论(0)

PostgreSQL启动过程中的那些事九_十_十一:初始化活跃backend进程列表、创建opts文件、保持非默认GUC参数文件

现在离数据库启动过程的高潮startdatabase只有几步之遥,这几步比较简单,简要描述之。 这几步包括: 八:设置虚拟文件描述符 九:初始化活跃 backend 进程列表 十:创建 opts 文件 十一:保存非默认 GUC 参数到文件 十二:为 postmaster 进程安装信号句柄 十三:为统计进程启动准备资源 十四:为 autovuc 进程启动做条件检查 十五:加载客户端认证配置文件 本节包括九、十、十一。 这一节 pg 在 postmaster 启动时初始化一个双向链表,用来管理后面处理客户端请求的活跃 backend 进程( postgres 后台服务进程)。 接着在数据集目录 …

2012-05-21 21:37 · PostgreSQL内核 · 评论(0)