244 lines
17 KiB
XML
244 lines
17 KiB
XML
|
<?xml version="1.0" encoding="UTF-8"?>
|
|||
|
|
<!-- ============================================================================= -->
|
|||
|
|
<!-- Copyright © 2009 Red Hat, Inc. and others. -->
|
|||
|
|
<!-- -->
|
|||
|
|
<!-- The text of and illustrations in this document are licensed by Red Hat under -->
|
|||
|
|
<!-- a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). -->
|
|||
|
|
<!-- -->
|
|||
|
|
<!-- An explanation of CC-BY-SA is available at -->
|
|||
|
|
<!-- -->
|
|||
|
|
<!-- http://creativecommons.org/licenses/by-sa/3.0/. -->
|
|||
|
|
<!-- -->
|
|||
|
|
<!-- In accordance with CC-BY-SA, if you distribute this document or an adaptation -->
|
|||
|
|
<!-- of it, you must provide the URL for the original version. -->
|
|||
|
|
<!-- -->
|
|||
|
|
<!-- Red Hat, as the licensor of this document, waives the right to enforce, -->
|
|||
|
|
<!-- and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent -->
|
|||
|
|
<!-- permitted by applicable law. -->
|
|||
|
|
<!-- ============================================================================= -->
|
|||
|
|
<chapter id="flow-control">
|
|||
|
|
<title>流控制</title>
|
|||
|
|
<para>流控制是指对客户端与服务器之间，或者服务器之间的数据流量进行限制，目的是防止通迅双方由于大量数据而过载。</para>
|
|||
|
|
<section>
|
|||
|
|
<title>接收者（consumer）流控制</title>
|
|||
|
|
<para>这是指对客户端的接收者接收消息流的控制。通常为了提高效率，在客户端通常将消息放入缓存，然后再将缓存中
|
|||
|
|
的消息传递给接收者（consumer）。当接收者处理消息的速度小于服务器向其发送消息的速度时，就可能造成消息在
|
|||
|
|
客户端不断积累，最終引起内存溢出的错误。</para>
|
|||
|
|
<section id="flow-control.consumer.window">
|
|||
|
|
<title>基于窗口的流控制</title>
|
|||
|
|
<para>默认情况下HornetQ的接收者一端会将消息进行缓存以提高性能。如果不这样做，那每次接收者收到一个消息，
|
|||
|
|
都得通知服务器传递下一个消息，然后服务器再将下一个消息传递过来。这就增加了通信的次数。</para>
|
|||
|
|
<para>对于每一次消息传递都有一个网络的往返通信，这样降低了性能。</para>
|
|||
|
|
<para>为了避免这样，HornetQ将每个接收者的消息提前接收到一处缓存中。每个缓存的最大值由
|
|||
|
|
<literal>consumer-window-size</literal>参数决定（单位字节）。</para>
|
|||
|
|
<para><literal>consumer-window-size</literal>的默认值是 1 MiB （1024 * 1024
|
|||
|
|
字节）。</para>
|
|||
|
|
<para>它的值可以是：</para>
|
|||
|
|
<itemizedlist>
|
|||
|
|
<listitem>
|
|||
|
|
<para><literal>-1</literal> 代表<emphasis>大小无限制</emphasis>的缓存。</para>
|
|||
|
|
</listitem>
|
|||
|
|
<listitem>
|
|||
|
|
<para><literal>0</literal> 代表不缓存消息。参见相关的例子 <xref
|
|||
|
|
linkend="examples.no-consumer-buffering"/>。</para>
|
|||
|
|
</listitem>
|
|||
|
|
<listitem>
|
|||
|
|
<para><literal>>0</literal> 代表缓存的最大字节数。</para>
|
|||
|
|
</listitem>
|
|||
|
|
</itemizedlist>
|
|||
|
|
<para>合理设置接收者的窗口大小可以显著提高性能。下面是两个极端的例子：</para>
|
|||
|
|
<variablelist>
|
|||
|
|
<varlistentry>
|
|||
|
|
<term>快速接收者</term>
|
|||
|
|
<listitem>
|
|||
|
|
<para>所谓快速接收者是指消息的接收者处理消息的速度大于等于它的接收速度。</para>
|
|||
|
|
<para>对于快速接收者或以将<literal>consumer-window-size</literal>设为
|
|||
|
|
-1，使得客户端的消息缓存的大小 <emphasis>无限制</emphasis>。</para>
|
|||
|
|
<para>请谨慎使用这一设置值： 如果接收者的消息处理速度比接收速度小，可造成客户端内存溢出。</para>
|
|||
|
|
</listitem>
|
|||
|
|
</varlistentry>
|
|||
|
|
<varlistentry>
|
|||
|
|
<term>慢接收者</term>
|
|||
|
|
<listitem>
|
|||
|
|
<para>所谓慢接收者是指接收者每处理一个消息就要花很多时间。这样将缓存关闭就比较合理。服务器可以将多余的
|
|||
|
|
消息传递给其它的接收者。</para>
|
|||
|
|
<para>假设一个队列有2个接收者。其中一个接收者非常慢。消息被轮流传递到两个接收者。其中的快速接收者
|
|||
|
|
很快将其缓存中的消息处理完毕。同时慢接收者的缓存中还有一些消息等待处理。这样快速接收者在一段时间
|
|||
|
|
内就处于空闲状态。</para>
|
|||
|
|
<para>这时，将<literal>consumer-window-size</literal> 设为0 （没有缓存），就可以将它变成
|
|||
|
|
慢接收者。这样在慢接收者一方不会缓存消息，这使得快的接收者可以处理更多的消息，而不至于处于空闲
|
|||
|
|
状态。</para>
|
|||
|
|
<para>这说明将它设置为0可以控制一个队列的消息在多个接收者之间的消息分配。</para>
|
|||
|
|
</listitem>
|
|||
|
|
</varlistentry>
|
|||
|
|
</variablelist>
|
|||
|
|
<para>大多数情况下很难判断哪些接收者是快速的，哪些是慢速的。往往很多接收者是处于两者之间。这样对于
|
|||
|
|
<literal>consumer-window-size</literal>的值就要视具体情况而定。有时需要进行一定的测试
|
|||
|
|
来决定它的最佳值。通常情况下将其设为1MiB可以满足大多数的应用情况。</para>
|
|||
|
|
<section id="flow-control.core.api">
|
|||
|
|
<title>使用核心接口（Core API）进行流控制</title>
|
|||
|
|
<para>Hornet的核心接口中，<literal
|
|||
|
|
>ClientSessionFactory.setConsumerWindowSize()</literal>方法和一些
|
|||
|
|
<literal>ClientSession.createConsumer()</literal>方法可以控制流的窗口大小。</para>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>使用JMS的流控制</title>
|
|||
|
|
<para>若使用JNDI来获得连接工厂，则需要通过配置<literal>hornetq-jms.xml</literal>文件来设定窗口大小：</para>
|
|||
|
|
<programlisting>
|
|||
|
|
<connection-factory name="ConnectionFactory">
|
|||
|
|
<connectors>
|
|||
|
|
<connector-ref connector-name="netty-connector"/>
|
|||
|
|
</connectors>
|
|||
|
|
<entries>
|
|||
|
|
<entry name="ConnectionFactory"/>
|
|||
|
|
</entries>
|
|||
|
|
|
|||
|
|
<!-- Set the consumer window size to 0 to have *no* buffer on the client side -->
|
|||
|
|
<consumer-window-size>0</consumer-window-size>
|
|||
|
|
</connection-factory>
|
|||
|
|
</programlisting>
|
|||
|
|
<para>如果直接实例化连接工厂，则使用<literal>HornetQConnectionFactory.setConsumerWindowSize()</literal>
|
|||
|
|
方法来设定窗口大小。</para>
|
|||
|
|
<para>参见例子<xref linkend="examples.no-consumer-buffering"/>来了解如何配置HornetQ来
|
|||
|
|
关闭接收者的缓存。</para>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>速率流控制</title>
|
|||
|
|
<para>我们还可以通过控制 <emphasis>速率</emphasis>的方法来控制流。这是一种像调节节流阀的形式。
|
|||
|
|
这种方法保证一个接收者接收消息的速率不会超过设定的值。 </para>
|
|||
|
|
<para>速率必须是一个正整数。它代表最大接收速度，单位是消息每秒。将它设为<literal>-1</literal>就会关闭速率流控制。
|
|||
|
|
默认值是<literal>-1</literal>。</para>
|
|||
|
|
<para>参见有关速率流控制的例子<xref linkend="examples.consumer-rate-limit"/>以进一步了解它的工作原理。</para>
|
|||
|
|
<section id="flow-control.rate.core.api">
|
|||
|
|
<title>使用核心接口（Core API）</title>
|
|||
|
|
<para>HornetQ的核心接口的<literal
|
|||
|
|
>ClientSessionFactory.setConsumerMaxRate(int consumerMaxRate)</literal>方法或
|
|||
|
|
某些<literal>ClientSession.createConsumer()</literal>方法可以实现对流的速率控制。</para>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>使用JMS</title>
|
|||
|
|
<para>如果从JNDI中获取连接工厂，需要通过配置<literal>hornetq-jms.xml</literal>来进行速率流控制：</para>
|
|||
|
|
<programlisting><connection-factory name="ConnectionFactory">
|
|||
|
|
<connectors>
|
|||
|
|
<connector-ref connector-name="netty-connector"/>
|
|||
|
|
</connectors>
|
|||
|
|
<entries>
|
|||
|
|
<entry name="ConnectionFactory"/>
|
|||
|
|
</entries>
|
|||
|
|
<!-- We limit consumers created on this connection factory to consume messages
|
|||
|
|
at a maximum rate
|
|||
|
|
of 10 messages per sec -->
|
|||
|
|
<consumer-max-rate>10</consumer-max-rate>
|
|||
|
|
</connection-factory></programlisting>
|
|||
|
|
<para>如果是直接实例化连接工厂，则通过<literal>HornetQConnectionFactory.setConsumerMaxRate(int
|
|||
|
|
consumerMaxRate)</literal>方法来设定最大流速率。</para>
|
|||
|
|
<note>
|
|||
|
|
<para>速率流控制可以与窗口流控制结合使用。速率控制只规定了客户端每秒接收多少消息。因此如果你设定
|
|||
|
|
了一个较低的速率，同时又设定了一个大的缓存窗口，那么客户端的缓存将会很快饱和。</para>
|
|||
|
|
</note>
|
|||
|
|
<para>参见接收速率流控制的例子<xref linkend="examples.consumer-rate-limit"/>进一步了解速率流控制的配置和使用。</para>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>发送者（producer）的流控制</title>
|
|||
|
|
<para>HornetQ还可以控制客户端向服务器发送消息的速度，以避免服务器因大量数据过载。</para>
|
|||
|
|
<section>
|
|||
|
|
<title>基于窗口的流控制</title>
|
|||
|
|
<para>与接收者的相应的控制相似。在默认条件下，发送者要有足够的份额（credits）才可以向服务器的地址发送消息。
|
|||
|
|
这个份额就是消息的大小。</para>
|
|||
|
|
<para>当发送者的份额不足时，它要向服务器请求更多的份额以便发送更多的消息。</para>
|
|||
|
|
<para>发送者一次向服务器请求的份额值被称为<emphasis
|
|||
|
|
role="italic">窗口大小</emphasis>。</para>
|
|||
|
|
<para>于是窗口大小就是指发送者向服务器不间断发送消息的总最大字节数。当发送完毕时需再向服务器请求份额。这样就避免了
|
|||
|
|
服务器消息过载的情况。</para>
|
|||
|
|
<section>
|
|||
|
|
<title>使用核心接口（Core API）</title>
|
|||
|
|
<para>若使用核心接口，<literal
|
|||
|
|
>ClientSessionFactory.setProducerWindowSize(int producerWindowSize)</literal>
|
|||
|
|
方法可以对窗口大小进行设定。</para>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>使用JMS</title>
|
|||
|
|
<para>如果使用JNDI来获得连接工厂，则需要配置<literal>hornetq-jms.xml</literal>文件以设定窗口大小：</para>
|
|||
|
|
<programlisting>
|
|||
|
|
<connection-factory name="ConnectionFactory">
|
|||
|
|
<connectors>
|
|||
|
|
<connector-ref connector-name="netty-connector"/>
|
|||
|
|
</connectors>
|
|||
|
|
<entries>
|
|||
|
|
<entry name="ConnectionFactory"/>
|
|||
|
|
</entries>
|
|||
|
|
<producer-window-size>10</producer-window-size>
|
|||
|
|
</connection-factory></programlisting>
|
|||
|
|
<para>如果是直接实例化连接工厂，则使用<literal>HornetQConnectionFactory.setProducerWindowSize(int
|
|||
|
|
producerWindowSize)</literal>方法来设定窗口大小。</para>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>限定发送者窗口流控制</title>
|
|||
|
|
<para>通常情况下客户端请求多少份额，HornetQ服务器就给予多少份额。然而我们还可以针对每个地址来设定一个最大
|
|||
|
|
的份额值，以使服务器给出的份额都不大于该值。这样可以防止一个地址的内存溢出。</para>
|
|||
|
|
<para>例如，如果有一个队列称为“myqueue”。将它的最大内存值设为10MiB，则服务器就会控制给出的份额以保证向该队列的地
|
|||
|
|
址发送消息时不会占大于10MiB的内存空间。</para>
|
|||
|
|
<para>当一相地址已经满了的时候，发送者将会阻塞直到该地址有了多余的空间为止，即地址中的消息被接收了一部分后使得
|
|||
|
|
地址腾出了一些空间。</para>
|
|||
|
|
<para>我们将这种控制方法称为限定发送者窗口流控制。这是一种有效的防止服务器内存溢出的手段。</para>
|
|||
|
|
<para>它可以看成是分页转存（paging）的另一种方法。分页转存不阻塞发送者，它将消息转存到存贮介质上以节省内存的空间。</para>
|
|||
|
|
<para>要配置一个地址的最大容量并告诉服务器在地址满了的情况下阻塞发送者，你需要为该地址定义一个
|
|||
|
|
AddressSettings (<xref linkend="queue-attributes.address-settings"/>) 并设定
|
|||
|
|
<literal>max-size-bytes</literal> 和 <literal
|
|||
|
|
>address-full-policy</literal>。</para>
|
|||
|
|
<para>这个配置对所有注册到该地址的队列有效。即所有注册队列的总内存将不超过 <literal
|
|||
|
|
>max-size-bytes</literal>。对于JMS topic情况则意谓着该topic的所有订阅的内存不能超过
|
|||
|
|
max-size-bytes的设定值。</para>
|
|||
|
|
<para>下面是一个例子：</para>
|
|||
|
|
<programlisting>
|
|||
|
|
<address-settings>
|
|||
|
|
<address-setting match="jms.queue.exampleQueue">
|
|||
|
|
<max-size-bytes>100000</max-size-bytes>
|
|||
|
|
<address-full-policy>BLOCK</address-full-policy>
|
|||
|
|
</address-setting>
|
|||
|
|
</address-settings></programlisting>
|
|||
|
|
<para>上面的例子将JMS队列"exampleQueue"的最大内存值设为
|
|||
|
|
100000 字节并且阻塞发送者以防止消息量超过这个值。</para>
|
|||
|
|
<para>注意必须设置 <literal>BLOCK</literal>的策略才能打开限定发送者窗口控制。</para>
|
|||
|
|
<note><para>请注意默认的配置下当一个地址中的消息量达到10MiB时，其所有的消息发送者将变为阻塞状态，也就是说
|
|||
|
|
在没有接收的情况下你不能向一个地址不阻塞地一次发送超过10MiB的消息。要想增加这个限制，可以加大
|
|||
|
|
<literal>max-size-bytes</literal>参数的值，或者调整地址的消息容量限制。</para>
|
|||
|
|
</note>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>速率流控制</title>
|
|||
|
|
<para>HornetQ也可以控制发送者发送消息的速率。单位是每秒消息数。通过设定速率可保证发送者的发送速率不超过某个值。</para>
|
|||
|
|
<para>速率必须是一个正整数。如果设为 <literal>-1</literal> 则关闭速率流控制。默认值是<literal>-1</literal>。</para>
|
|||
|
|
<para>请参见例子<xref linkend="producer-rate-limiting-example"/>进一步了解速率流控制的使用方法。</para>
|
|||
|
|
<section id="flow-control.producer.rate.core.api">
|
|||
|
|
<title>使用核心接口（Core API）</title>
|
|||
|
|
<para>如果使用核心接口，<literal
|
|||
|
|
>ClientSessionFactory.setProducerMaxRate(int consumerMaxRate)</literal>方法或
|
|||
|
|
某些 <literal>ClientSession.createProducer()</literal>方法可以设置最大速率值。</para>
|
|||
|
|
</section>
|
|||
|
|
<section>
|
|||
|
|
<title>使用 JMS</title>
|
|||
|
|
<para>如果使用JNDI，需要配置<literal>hornetq-jms.xml</literal>文件：</para>
|
|||
|
|
<programlisting><connection-factory name="ConnectionFactory">
|
|||
|
|
<connectors>
|
|||
|
|
<connector-ref connector-name="netty-connector"/>
|
|||
|
|
</connectors>
|
|||
|
|
<entries>
|
|||
|
|
<entry name="ConnectionFactory"/>
|
|||
|
|
</entries>
|
|||
|
|
<!-- We limit producers created on this connection factory to produce messages
|
|||
|
|
at a maximum rate
|
|||
|
|
of 10 messages per sec -->
|
|||
|
|
<producer-max-rate>10</producer-max-rate>
|
|||
|
|
</connection-factory></programlisting>
|
|||
|
|
<para>如果直接实例化连接工厂，则使用<literal>HornetQConnectionFactory.setProducerMaxRate(int
|
|||
|
|
consumerMaxRate)</literal>方法来设置。</para>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
</section>
|
|||
|
|
</chapter>
|