共计 1924 个字符,预计需要花费 5 分钟才能阅读完成。
官方文档:http://gearman.org/getting-started/ 安装方法和示例都有,可以详细看一下。
Gearman 是一个分发任务的程序框架,可以用在各种场合,与 Hadoop 相比,Gearman 更偏向于任务分发功能。它的任务分布非常简单,简单得可以只需要用脚本即可完成。Gearman 最初用于 LiveJournal 的图片 resize 功能,由于图片 resize 需要消耗大量计算资源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。
Gearman 可以做什么
- 异步处理: 图片处理, 订单处理, 批量邮件 / 通知之类的
- 要求高 CPU 或内存的处理: 大容量的数据处理,MapReduce 运算, 日志聚集, 视频编码
- 分布式和并行的处理
- 定时处理: 增量更新, 数据复制
- 限制速率的 FIFO 处理
- 分布式的系统监控任务
1, 安装方法
# 安装 gearman | |
yum install gearmand | |
#安装 libgearman | |
yum install libgearman-devel | |
#安装 gearman php 扩展 | |
pecl install gearman | |
#添加 gearman.so 到 php.ini | |
echo "extension=gearman.so" >> /etc/php.ini |
没有 pecl 的话装一下
yum install php-pear
如果 pecl 没法安装的话,可以直接下载源代码,使用 phpize 编译安装
cd ~/software | |
wget http://pecl.php.net/get/gearman-1.1.2.tgz | |
cd gearman-1.1.2 | |
phpize | |
./configure | |
make && make install |
2,简单使用示例:(我们使用 Gearman 来异步处理百度云推送服务)
先看 client.php 注册事件,client.php
// 创建 Gearman 对象 | |
$client = new GearmanClient(); | |
// addServer 默认是 localhost, 端口默认是 4730,如果不是默认的话可以调整 | |
$client -> addServer(); | |
// $client->addServer("192.168.0.0",4730); | |
echo "Sending job\n"; | |
$username = "test"; | |
$message = "message"; | |
$data = array("username" => $username, | |
"message" => $message , | |
); | |
// 注册事件 以及 传递参数 , 多个参数使用 json_encode 转换 | |
// 任务可以阻塞式运行,还可以指定优先级;当然,也可以非阻塞(运行不等待结果)运行 | |
// 可以参考 php Gearman api 文档 : doNornal, doHigh, doLow,doBackground | |
$result = $client -> doBackground("testFunction", json_encode($data)); | |
if ($result) {echo "Success: $result\n"; | |
} | |
再看 worker 的处理,其实就是注册事件处理函数,worker.php
$worker = new GearmanWorker(); | |
$worker->addServer(); | |
// 注册事件及事件处理函数 | |
$worker->addFunction("testFunction","handler"); | |
// 运行 worker | |
while ($worker->work()); | |
function handler(GearmanJob $job) {$workload = json_decode($job->workload()); | |
echo "received:" . print_r($workload,1); | |
} | |
可以命令行运行 php client.php , php worker.php,这里启动顺序最好是先启动 worker,这样事件可以得到及时处理;也可以先启动 client,事件会在 Gearman 中排队,等待 worker 处理;
还可以启动多个 worker,Gearman 会自动进行负载均衡,分配到不同的 worker 进行处理。
大家可以发掘更多应用场景 …
例如:通过 Gearman 实现 MySQL 到 Redis 的数据同步(异步复制)http://www.linuxidc.com/Linux/2015-01/111380.htm
Gearman 的监控:
可以使用 supervisor,也可以使用 gearman manager
使用 supervisor 监控 Gearman 任务的例子见:http://www.linuxidc.com/Linux/2015-01/111384.htm
