RabbitMQ原理及Linux安装

一.RabbitMQ工作原理

1.基本结构

img

2.名词解释

  • Message 消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。
  • Publisher 消息的生产者，也是一个向交换器发布消息的客户端应用程序。
  • Exchange 交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
  • Binding 绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
  • Queue 消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
  • Connection 网络连接，比如一个TCP连接。
  • Channel 信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
  • Consumer 消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
  • Virtual Host 虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
  • Broker 表示消息队列服务器实体。

3.消息发布/接收流程

—-发送消息—– 1、生产者和Broker建立TCP连接(Connection)。 2、生产者和Broker建立通道(Channel)。 3、生产者通过通道消息发送给Broker，由Exchange将消息进行转发。 4、Exchange将消息转发到指定的Queue(队列) —-接收消息—– 1、消费者和Broker建立TCP连接 2、消费者和Broker建立通道 3、消费者监听指定的Queue(队列) 4、当有消息到达Queue时Broker默认将消息推送给消费者。 5、消费者接收到消息。 发送端操作流程 1)创建连接 2)创建通道 3)声明队列 4)发送消息 接收端 1)创建连接 2)创建通道 3)声明队列 4)监听队列 5)接收消息 6)ack回复

4.Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。

1.direct

消息中的路由键（routing key）如果和 Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。

2.fanout

每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。

3.topic

topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点“.”隔开。它同样也会识别两个通配符：符号“#”和符号“”。“#”匹配0个或多个单词，“”匹配不多不少一个单词。例如“com.#”能匹配到“com.rabbitmq.oa”和“com.rabbitmq”；而"com.“只能匹配到“com.rabbitmq”。

4.Headers

该类型的交换器不依赖路由规则来路由消息，而是根据消息内容中的headers属性进行匹配。headers类型交换器性能差，在实际中并不常用。和 direct 交换器完全一致，但性能差很多，目前几乎用不到。

5.php-amqplib使用

1).建立生产者与mq之间的连接

$conn = new AMQPStreamConnection( $host,$port,$user,$password,$vhost); $host: RabbitMQ服务器主机IP地址 $port: RabbitMQ服务器端口 $user: 连接RabbitMQ服务器的用户名 $password: 连接RabbitMQ服务器的用户密码 $vhost: 连接RabbitMQ服务器的vhost（服务器可以有多个vhost，虚拟主机，类似nginx的vhost）

2).建立通道

$channel = $conn->channel($channel_id); //在已连接基础上建立生产者与mq之间的通道 $channel_id 信道id，不传则获取$channel[“”]信道，再无则循环$this->channle数组， 下标从1到最大信道数找第一个不是AMQPChannel对象的下标， 实例化并返回AMQPChannel对象，无则抛出异常No free channel ids

3).声明初始化交换机

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

channel->exchange_declare(exhcange_name,type,passive,durable,auto_delete);

参数：

$exhcange_name 交换器名字

$type 交换器类型

$passive  false 是否检测同名队列

durable false  交换机是否开启持久化

auto_detlete false  通道关闭后是否删除队列

(1)交换器类型

:direct(默认)，fanout, topic, 和headers

Direct:

直接交换器，工作方式类似于单播，Exchange会将消息发送完全匹配ROUTING_KEY的Queue

fanout:

广播是式交换器，不管消息的ROUTING_KEY设置为什么，Exchange都会将消息转发给所有绑定的Queue。

topic:

主题交换器，工作方式类似于组播，Exchange会将消息转发和ROUTING_KEY匹配模式相同的所有队列，比如，ROUTING_KEY为user.stock的Message会转发给绑定匹配模式为 * .stock,user.stock， * . * 和#.user.stock.#的队列。（ * 表是匹配一个任意词组，#表示匹配0个或多个词组）

headers:

消息体的header匹配（ignore）

4).声明初始化一条队列

$channel->queue_declare($name, $passive,$durable,$exclusive,$auto_delete); name: 队列名称 passive: false 是否检测同名队列 durable: false 是否开启队列持久化 exclusive: false 队列是否可以被其他队列访问 auto_delete: true 通道关闭后是否删除队列

5 ).路由绑定

$channel->queue_bind($queueName, $exchangeName, $routingKey); $queueName 队列名称 $exchangeName 交换机名称 $routingKey 路由键(使用通配符的路由键：符号“#”和符号“*”)

6).创建要发送的信息 ，可以创建多个消息

$msg = new AMQPMessage($data,$properties) $data string类型 要发送的消息 $properties array类型 设置的属性，比如设置该消息持久化[‘delivery_mode’=>2]

7).发送消息

$channel->basic_publish($msg,$exchange,$routing_key); $msg object AMQPMessage对象 $exchange string 交换机名字
$routing_key string 路由键(不使用通配符的完整路由键),如果交换机类型

8).关闭信道和链接

$channel->close(); $connection->close();

9).消费消息

$channel->basic_consume($queue,$consumer_tag,$no_local, $no_ack, $exclusive,$nowait, $callback); $queue队列名称 $callback回调函数 （1）回调函数 $callback = function($msg){ echo " [x] Received “, $msg->body, “\n”; sleep(substr_count($msg->body, ‘.')); echo " [x] Done”, “\n”; };

10).监听消息，一有消息，立马就处理

while(count($channel->callbacks)) { $channel->wait(); }

11).消息确认机制 (ack)

消息消费者代码 在默认情况下，消息确认机制是关闭的。现在是时候开启消息确认机制，将basic_consumer的第四个参数设置为false(true表示不开启消息确认)，并且工作进程处理完消息后发送确认消息。

1
2
3
4
5
6
7
8
9

# 处理消息回调函数
$callback = function($msg){
  echo " [x] Received ", $msg->body, "\n";
  sleep(substr_count($msg->body, '.'));
  echo " [x] Done", "\n";
  $msg->delivery_info['channel']->basic_ack($msg->delivery_info['delivery_tag']);
};
# 开启消息确认
$channel->basic_consume('task_queue', '', false, false, false, false, $callback);

二.RabbitMQ服务安装

1.安装rabbitmq服务端

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

下载目前最新rabbitmq服务端版本：
wget https://github.com/alanxz/rabbitmq-c/archive/v0.9.0.tar.gz
wget http://dlops.langpedu.com:8091/tars/simplejson-3.15.0.tar.gz -P $TOOLSDIR
wget http://dlops.langpedu.com:8091/tars/rabbitmq-server-generic-unix-3.6.15.tar.xz -P $TOOLSDIR
php扩展 ：
wget http://pecl.php.net/get/amqp-1.9.4.tgz

#基础环境定义
WEBDIR=/data/webserver
WEBSITEDIR=/data/website
WWWDIR=/data/www
TOOLSDIR=/data/tools
EXTDIR=/data/tools/php-ext
DBDIR=/data/database
APPDIR=/data/application

cd $TOOLSDIR
xz -d rabbitmq-server-generic-unix-3.6.15.tar.xz
tar xf rabbitmq-server-generic-unix-3.6.15.tar
tar zxf simplejson-3.15.0.tar.gz
cd simplejson-3.15.0
python2.7 setup.py install

2.添加环境变量

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

cd $TOOLSDIR
mkdir -pv $APPDIR/
mv rabbitmq_server-3.6.15 $APPDIR/rabbitmq
(
cat << EOF
export PATH=\$PATH:$APPDIR/rabbitmq/sbin
EOF
)>> /etc/profile
source /etc/profile
3.初始化rabbitmq服务端
$APPDIR/rabbitmq/sbin/rabbitmq-server -detached
sleep 7
$APPDIR/rabbitmq/sbin/rabbitmq-plugins enable rabbitmq_management

$APPDIR/rabbitmq/sbin/rabbitmqctl add_user dyadmin dyadmin
$APPDIR/rabbitmq/sbin/rabbitmqctl set_user_tags dyadmin administrator
$APPDIR/rabbitmq/sbin/rabbitmqctl set_permissions -p / dyadmin '.*' '.*' '.*'

$APPDIR/rabbitmq/sbin/rabbitmqctl add_user rabbitmq rabbitmq
$APPDIR/rabbitmq/sbin/rabbitmqctl set_permissions -p / rabbitmq '.*' '.*' '.*'

4.安装php-rabbitmq扩展

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

[root@izj6c0ct64t9oyhoeow593z amqp-1.9.4]# /usr/local/php7.3.10/bin/phpize 
Configuring for:
PHP Api Version:         20180731
Zend Module Api No:      20180731
Zend Extension Api No:   320180731
#继续
[root@izj6c0ct64t9oyhoeow593z amqp-1.9.4]#  ./configure \
--with-php-config=/usr/local/php7.3.10/bin/php-config \
--with-amqp --with-librabbitmq-dir=/usr/local/rabbitmq-c-0.9.0/
#各种输出...
root@izj6c0ct64t9oyhoeow593z amqp-1.9.4]# make && make install
php.ini文件新增extension=amqp.so
#make命令执行过程中出现报错
 在目录/usr/local/rabbitmq-c-0.9.0/执行命令ln -s lib64 lib
 再返回目录/usr/local/src/amqp-1.9.4执行make && make install，安装成功

三.web工具管理

  • 安装 rabbitmq-plugins enable rabbitmq_management
  • 默认账号密码 默认账号只能在localhost等本机模式下才可登陆 guest guest
  • 添加可以远程登陆的账号(前面已初始化) sudo rabbitmqctl add_user test 123456 sudo rabbitmqctl set_user_tags test administrator sudo rabbitmqctl set_permissions -p / test “.” “.” “.*”
  • 查看已创建用户 rabbitmqctl list_users
  • 浏览器访问web管理工具 注意防火墙配置，开启15672端口 (firewall-cmd –zone=public(作用域) –add-port=80/tcp(端口和访问类型)) http://127.0.0.1:15672

四.PHP-amqplib库操作RabbitMQ

1.安装php-amqplib扩展

1
2
3
4
5

composer require php-amqplib/php-amqplib
或者composer.json文件中增加
"require": {
  "php-amqplib/php-amqplib": "2.7.*"
}

2.php-amqplib使用

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281

<?php


namespace App\Http\Controllers\Test;


use App\Handler\Traits\RedisTrait\ConfigCollegeTrait;
use App\Http\Controllers\Controller;
use Illuminate\Http\Request;
use Illuminate\Support\Facades\Log;
use Illuminate\Support\Facades\Redis;
use PhpAmqpLib\Connection\AMQPStreamConnection;
use PhpAmqpLib\Exchange\AMQPExchangeType;
use PhpAmqpLib\Message\AMQPMessage;

/**
 * RabbitMQ队列实例
 * Class RabbitMQController
 * @package App\Http\Controllers\Index
 */
class RabbitMQController extends Controller
{
    use ConfigCollegeTrait;

    protected static $single;
    protected static $connection;
    protected static $channel;
    protected static $config;

    /**
     * RabbitMQController constructor.
     */
    function __construct()
    {
        self::$config = self::getConfig();

        self::$connection = new AMQPStreamConnection(
            self::$config['host'],
            self::$config['port'],
            self::$config['user'],
            self::$config['password'],
            self::$config['vhost']
        );

        self::$channel = self::$connection->channel();
    }

    /**
     * @throws \Exception
     */
    public function __destruct()
    {
        $this->closeService();
    }

    /**
     * Author: Dy
     * @return RabbitMQController
     * Version: 1.0.0
     */
    public static function getInstance()
    {
        if (self::$single === null) {
            self::$single = new self();
        }

        return self::$single;
    }

    /**
     * Author: Dy
     * @return AMQPStreamConnection
     * Version: 1.0.0
     */
    public static function getConnection()
    {
        if (self::$connection === null) {

            $config = self::getConfig();
        
            self::$connection = new AMQPStreamConnection(
                $config['host'],
                $config['port'],
                $config['user'],
                $config['password']
            );
        }

        return self::$connection;
    }

    /**
     * Author: Dy
     * @return \PhpAmqpLib\Channel\AMQPChannel
     * Version: 1.0.0
     */
    public static function getChannel()
    {
        if (self::$channel === null) {
            self::$channel = self::$connection->channel();
        }

        return self::$channel;
    }

    /**
     * Author: Dy
     * @return \Illuminate\Config\Repository|mixed
     * Version: 1.0.0
     */
    public static function getConfig()
    {
        return config('rabbitmq');
    }

    /**
     * @throws \Exception
     */
    function closeService()
    {
        if (self::$connection) {
            self::$connection->close();
        }
        if (self::$channel) {
            self::$channel->close();
        }
    }

    /**
     * 入口程序
     * @param Request $request
     * @return \Illuminate\Http\JsonResponse
     */
    public function index(Request $request)
    {
        //请求类型:1生产者,2消费者
        $type = $request->input('type', 0);
        try {
            $response = [];
            switch ($type) {
                case 1:#1发布消息
                    $response = $this->pushMessage();
                    break;
                case 2:#2消费者1
                    $response = $this->receiveMessage1();
                    break;
                case 3:#2消费者2
                    $response = $this->receiveMessage2();
                    break;
                default:
                    break;
            }

            return responseSuccess(1000, $response);
        } catch (\Exception $e) {
            report($e);

            $returnData['code'] = $e->getCode();
            $returnData['msg']  = $e->getMessage();
        
            return responseSuccess(1000, $returnData);
        }
    }

    /**
     * 发布消息
     * @return bool
     */
    public function pushMessage()
    {
        $exchangeName = 'my_exchange_topic'; //交换机名
        $queueName1   = 'msg_send_queue'; //队列名称
        $queueName2   = 'sms_send_queue'; //队列名称
        $routingKeys  = 'sms_send.msg_send.temp_send'; //路由关键字(也可以省略)
        $routingKey1  = '#msg_send#'; //路由关键字(也可以省略)
        $routingKey2  = '#sms_send#'; //路由关键字(也可以省略)

        //交换机类型
        //’’  默认交换机 匿名交换器 未显示声明类型都是该类型
        //fanout  扇形交换器 会发送消息到它所知道的所有队列，每个消费者获取的消息都是一致的
        //headers 头部交换器
        //direct 直连交换器，该交换机将会对绑定键（binding key）和路由键（routing key）进行精确匹配
        //topic 话题交换器 该交换机会对路由键正则匹配，必须是*(一个单词)、#(多个单词，以.分割) 、      user.key .abc.* 类型的key

        self::$channel->exchange_declare($exchangeName, AMQPExchangeType::TOPIC, false, true, false); //声明初始化交换机
        self::$channel->queue_declare($queueName1, false, true, false, false); //声明初始化一条队列
        self::$channel->queue_declare($queueName2, false, true, false, false); //声明初始化一条队列
        self::$channel->queue_bind($queueName1, $exchangeName, $routingKey1); //将队列与某个交换机进行绑定，并使用路由关键字
        self::$channel->queue_bind($queueName2, $exchangeName, $routingKey2); //将队列与某个交换机进行绑定，并使用路由关键字

        $msgBody = json_encode(["name" => "iGoo", "age" => 22]);
        $msg     = new AMQPMessage($msgBody, ['content_type' => 'text/plain', 'delivery_mode' => 2]); //生成消息
        self::$channel->basic_publish($msg, $exchangeName, $routingKeys); //推送消息到某个交换机

        return true;
    }

    /**
     * 接收消息1
     * @throws \ErrorException
     */
    public function receiveMessage1()
    {
        $exchangeName = 'my_exchange_topic'; //交换机名
        $queueName1   = 'msg_send_queue'; //队列名称
        $queueName2   = 'sms_send_queue'; //队列名称
        $routingKeys  = 'msg_send.sms_send'; //路由关键字(也可以省略)
        $routingKey1  = '#msg_send#'; //路由关键字(也可以省略)
        $routingKey2  = '#sms_send#'; //路由关键字(也可以省略)

        Redis::connection('cache')->hset('rabbitmq', 1, 1);
        $callback1 = function ($msg) {
            //echo " [x] Received ", $msg->body, "\n";
            //echo " [x] Done", "\n";
            Redis::connection('cache')->hset('rabbitmq', 2, 2);
            Redis::connection('cache')->hset('rabbitmq',
                'msg_send_queue|' . date('Y-m-d H:i:s') . '|' . rand(1000, 9999),
                $msg->body ?? '无数据');

            //消息确认机制 (ack),手动确认消息是否正常消费，保证消息消费的幂等。
            $msg->delivery_info['channel']->basic_ack($msg->delivery_info['delivery_tag']);
        };

        self::$channel->exchange_declare($exchangeName, AMQPExchangeType::TOPIC, false, true, false); //声明初始化交换机
        self::$channel->queue_declare($queueName1, false, true, false, false); //声明初始化一条队列
        self::$channel->queue_bind($queueName1, $exchangeName, $routingKey1); //将队列与某个交换机进行绑定，并使用路由关键字

        #$callback 表示回调函数，传入消息参数
        self::$channel->basic_consume($queueName1, '', false, false, false, false, $callback1);


        #监听消息，一有消息，立马就处理
        while (count(self::$channel->callbacks) && Redis::connection('cache')->get('rabbitmq_flag')) {
            self::$channel->wait();
        }
    
        return true;
    }
    
    /**
     * 接收消息2
     * @throws \ErrorException
     */
    public function receiveMessage2()
    {
        $exchangeName = 'my_exchange_topic'; //交换机名
        $queueName1   = 'msg_send_queue'; //队列名称
        $queueName2   = 'sms_send_queue'; //队列名称
        $routingKeys  = 'msg_send.sms_send'; //路由关键字(也可以省略)
        $routingKey1  = '#msg_send#'; //路由关键字(也可以省略)
        $routingKey2  = '#sms_send#'; //路由关键字(也可以省略)
    
        Redis::connection('cache')->hset('rabbitmq', 1, 1);
        $callback2 = function ($msg) {
            //echo " [x] Received ", $msg->body, "\n";
            //echo " [x] Done", "\n";
            Redis::connection('cache')->hset('rabbitmq', 3, 3);
            Redis::connection('cache')->hset('rabbitmq',
                'sms_send_queue|' . date('Y-m-d H:i:s') . '|' . rand(1000, 9999),
                $msg->body ?? '无数据');
    
            //消息确认机制 (ack),手动确认消息是否正常消费，保证消息消费的幂等。
            $msg->delivery_info['channel']->basic_ack($msg->delivery_info['delivery_tag']);
        };
    
        self::$channel->exchange_declare($exchangeName, AMQPExchangeType::TOPIC, false, true, false); //声明初始化交换机
        self::$channel->queue_declare($queueName2, false, true, false, false); //声明初始化一条队列
        self::$channel->queue_bind($queueName2, $exchangeName, $routingKey2); //将队列与某个交换机进行绑定，并使用路由关键字
    
        #$callback 表示回调函数，传入消息参数
        self::$channel->basic_consume($queueName2, '', false, false, false, false, $callback2);


        #监听消息，一有消息，立马就处理
        while (count(self::$channel->callbacks) && Redis::connection('cache')->get('rabbitmq_flag')) {
            self::$channel->wait();
        }
    
        return true;
    }
}