分布式的任务分发框架-Gearman

160次阅读

共计 1924 个字符，预计需要花费 5 分钟才能阅读完成。

官方文档：http://gearman.org/getting-started/ 安装方法和示例都有，可以详细看一下。

Gearman 是一个分发任务的程序框架，可以用在各种场合，与 Hadoop 相比，Gearman 更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Gearman 最初用于 LiveJournal 的图片 resize 功能，由于图片 resize 需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。

Gearman 可以做什么

异步处理: 图片处理, 订单处理, 批量邮件 / 通知之类的
要求高 CPU 或内存的处理: 大容量的数据处理,MapReduce 运算, 日志聚集, 视频编码
分布式和并行的处理
定时处理: 增量更新, 数据复制
限制速率的 FIFO 处理
分布式的系统监控任务

1, 安装方法

# 安装 gearman
yum install gearmand
#安装 libgearman
yum install libgearman-devel
#安装 gearman php 扩展
pecl install gearman
#添加 gearman.so 到 php.ini
echo "extension=gearman.so" >> /etc/php.ini

没有 pecl 的话装一下

yum install php-pear

如果 pecl 没法安装的话，可以直接下载源代码，使用 phpize 编译安装

cd ~/software
wget http://pecl.php.net/get/gearman-1.1.2.tgz
cd gearman-1.1.2
phpize
./configure
make && make install

2，简单使用示例：（我们使用 Gearman 来异步处理百度云推送服务）

先看 client.php 注册事件，client.php

<?php

// 创建 Gearman 对象 
$client = new GearmanClient();
// addServer 默认是 localhost, 端口默认是 4730，如果不是默认的话可以调整 
$client -> addServer();
// $client->addServer("192.168.0.0",4730);

echo "Sending job\n";

$username = "test";
$message = "message";
$data = array("username" => $username,
    "message" => $message , 
);
// 注册事件 以及 传递参数 , 多个参数使用 json_encode 转换
// 任务可以阻塞式运行，还可以指定优先级；当然，也可以非阻塞（运行不等待结果）运行
// 可以参考 php Gearman api 文档 : doNornal, doHigh, doLow,doBackground
$result = $client -> doBackground("testFunction", json_encode($data));
if ($result) {echo "Success: $result\n";
}

?>

再看 worker 的处理，其实就是注册事件处理函数，worker.php

<?php

$worker = new GearmanWorker();
$worker->addServer();

// 注册事件及事件处理函数 
$worker->addFunction("testFunction","handler");

// 运行 worker
while ($worker->work());

function handler(GearmanJob $job) {$workload = json_decode($job->workload());
    echo "received:" . print_r($workload,1);
}


?>