php-cp(php-connect-pool)是用php扩展写的一个数据库连接池。
我们知道php开发速度快,适合创业快速迭代,但当流量大了之后,php大量的短连接给db层造成多余的消耗,而php处理请求过程中连接会一直持有再加上进程之间不能共享tcp连接会导致撑高mysql的连接,mysql的性能会随着连接数的升高而急速下降,所以很多大公司都强转java,这很大一部分原因是php没有连接池!当然你可以用开源的数据库中间件来缓解这个问题,但是本项目和现有的开源产品有以下几点不同。
一.它不同于市面上其他的开源数据库中间件产品:
1.它不需要单独部署中间件集群,是跑在应用服务器上的代理进程,减少了一层外部依赖,这样使得架构更加简单、清爽、可靠。
2.性能更高,减少了一次网络传输,它通过高效的ipc方式和php进程通信,并且避免了协议解析的消耗。
3.同时支持redis和mysql,不需要部署2套单独的中间件系统。
二.简单原理图:
三。 技术特性
1.支持最大最小连接数配置。
2.支持压力小自动回收连接(力度和频率可配置)。
3.支持平滑重启。
4.支持连接用光的排队机制。
5.同时支持mysql和redis。
6.使用简单,框架简单整合后(修改new 方法),现有业务一行代码都不用改即可用上连接池。
7.提供了get_disable_list函数,来获得不可用的宕机ip列表,这样负载均衡也可以做在客户端(配置文件全部的ip和宕机ip做差集,然后再随机即可)。
btw:你也可以用lvs,但是lvs转发在系统架构上引入了依赖,dr模式不能跨网段又限制了扩容,而且后端db出问题只能知道lvs的vip。
8.连接池进程会启动ping进程来监听宕机列表,如果可用会反映到get_disable_list函数的返回值上.
9.做了大量优化,虽然请求经过连接池进程转发,但是基本无qps损耗。
四.使用它
1.把pool.ini文件放到 /etc/ 并按需修改里面的配置。
2.启动代理进程
./pool_server start
支持 "start" "stop" "restart" "reload"命令
3.修改php脚本
$db = new PDO(xxxxx);
修改成 $db = new pdo_connect_pool(xxxx);//dont use persistent
$redis = new Redis();
修改成 $redis = new redis_connect_pool();//dont use pconnect
提示:尽早调用$db/$redis->release() 来释放这个进程占用的连接到池子里面;
五.API
get_disable_list($pdo_config,CP_DEFAULT_PDO_PORT);
get_disable_list($redis_conf,CP_DEFAULT_REDIS_PORT);
- 第一个参数是你的配置文件.
- 如果配置文件变了,不可用列表将会被清空
- 返回失效的数据库ip.
六.压力测试:
1.带有连接池:
php脚本如下:
$obj = new pdo_connect_pool('mysql:host=192.168.20.130;dbname=test1',"admin","admin");
$stmt = $obj->query("show tables");
$data = $stmt->fetchAll();
var_dump($data);
$obj->release();
30s完成的请求数:
?完成了大概19w次请求
mysql服务器cpu占用:
mysql服务器消耗52%的cpu?
2.短连接压测,不带连接池
php脚本如下:
$obj = new PDO('mysql:host=192.168.20.130;dbname=test1',"admin","admin");
$stmt = $obj->query("show tables");
$data = $stmt->fetchAll();
var_dump($data);
30S完成请求:
?完成了大概12w次请求
mysql服务器cpu占用:
?cpu占用大概122%
可见连接池虽然经过请求转发,但是减少了建立和释放tcp的时间,总的QPS有大幅提升,同时对mysql服务器的负载有大幅降低。
以上压测机器为debian,4core机器。
七.安装:
phpize=>./configure=>make install=>echo "extensions=xx/connect_pool.so">php.ini
需要:
PHP 5.3 +(no zts)
linux 2.6+
并且已经安装了pdo和redis扩展