264 lines
21 KiB
XML
264 lines
21 KiB
XML
<?xml version="1.0" encoding="UTF-8"?>
|
||
<!-- ============================================================================= -->
|
||
<!-- Copyright © 2009 Red Hat, Inc. and others. -->
|
||
<!-- -->
|
||
<!-- The text of and illustrations in this document are licensed by Red Hat under -->
|
||
<!-- a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). -->
|
||
<!-- -->
|
||
<!-- An explanation of CC-BY-SA is available at -->
|
||
<!-- -->
|
||
<!-- http://creativecommons.org/licenses/by-sa/3.0/. -->
|
||
<!-- -->
|
||
<!-- In accordance with CC-BY-SA, if you distribute this document or an adaptation -->
|
||
<!-- of it, you must provide the URL for the original version. -->
|
||
<!-- -->
|
||
<!-- Red Hat, as the licensor of this document, waives the right to enforce, -->
|
||
<!-- and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent -->
|
||
<!-- permitted by applicable law. -->
|
||
<!-- ============================================================================= -->
|
||
<chapter id="persistence">
|
||
<title>持久化</title>
|
||
<para>本章我们将描述ActiveMQ的持久化技术，包括持久化的工作原理和配置方法。</para>
|
||
<para>ActiveMQ拥有一个高性能的日志（journal）模块来处理持久化。因此它并不依赖一个外部的数据库或第三方持久化产品。这个
|
||
日志模块针对消息的处理进行了高度的优化。</para>
|
||
<para>所谓ActiveMQ日志是一个<emphasis>只添加</emphasis>系统。它由一组磁盘文件构成。每个文件都是预先创建好的并且
|
||
大小是固定的。文件在创建时都进行了格式化。随着ActiveMQ不断地处理消息，如消息的增加、更新、删除等，一个个记录被添加
|
||
到日志中。当一个日志文件写满时，新记录就会写到下一个文件。</para>
|
||
<para>由于对日志的写入只是对文件的添加，这样有效减少了随机寻道的操作。而随机寻道的操作是磁盘操作中最耗时的操作。
|
||
所以这种设计可以使磁头的运动降到最低，效率最高。</para>
|
||
<para>而文件的大小是可以配置的。这使我们可以将文件大小配置为刚好占满一个磁盘柱面。不过现代的磁盘技术是复杂多样的，
|
||
我们并不能控制文件与磁盘柱面的对应关系。尽管如此，我们通过最大限度地降低文件对磁盘柱面的占用，来降低磁头的运动。
|
||
这是因为在同一个柱面的存取只需要盘面的转动而不需要磁头的运动。</para>
|
||
<para>当被删除的记录越来越多时，有的文件最終会变成一个没有有效记录的文件。这样的文件就可以回收再利用。ActiveMQ有
|
||
一套复杂的文件回收算法来判断一个日志文件是否可以被回收。</para>
|
||
<para>ActiveMQ还有一套文件整理的算法，它用来将日志文件中不用的空隙移除以达到更高的存贮效率。</para>
|
||
<para>这个日志系统全面支持事务功能。根据需要它可以支持本地事务或XA型事务。</para>
|
||
<para>日志系统的大部分是用Java实现的，但是ActiveMQ在其中实现了一层抽象的文件系统，这样就使得其它的语言实现能
|
||
方便地“插入”到日志模块中。实际上ActiveMQ自带有两种实现：</para>
|
||
<itemizedlist>
|
||
<listitem>
|
||
<para>Java <ulink url="http://en.wikipedia.org/wiki/New_I/O">NIO</ulink>。</para>
|
||
<para>第一种采用的是标准的Java NIO接口来进行文件的操作。它可以在任何安装有Java 1.6或以上的系统中运行。
|
||
NIO的性能是很高的。</para>
|
||
</listitem>
|
||
<listitem id="aio-journal">
|
||
<para>Linux 异步IO （Asynchronous IO）</para>
|
||
<para>第二种是采用的Linux系统中的异步IO技术（AIO）。它包括了少量的平台相关的代码（native code)来
|
||
调用AIO的接口。当数据被保存到磁盘上后，AIO会回调ActiveMQ进行通知。这样，ActiveMQ就避免了磁盘写
|
||
的同步操作。</para>
|
||
<para>使用AIO通常可以有比NIO更高的性能。</para>
|
||
<para>采用AIO的日志只能在运行 Linux kernel 2.6 或以上版本的内核的系统中才有。另外你需要安装libaio。
|
||
有关如何安装libaio请参见 <xref linkend="installing-aio"/>。</para>
|
||
<para>另外请注意AIO只在以下文件系统上能正确工作：ext2, ext3, ext4, jfs, xfs。其他文件系统如NFS，虽然
|
||
AIO看上去可以工作，实际上是以较慢的同步的方式在运行。所以不要在NFS上使用日志。</para>
|
||
<para>有关libaio的更多介绍参见 <xref linkend="libaio"/>。</para>
|
||
<para>libaio是Linux内核项目的一部分。</para>
|
||
</listitem>
|
||
</itemizedlist>
|
||
<para>标准的ActiveMQ核心服务器使用了两种日志：</para>
|
||
<itemizedlist id="persistence.journallist">
|
||
<listitem>
|
||
<para>绑定日志</para>
|
||
<para>这个日志用来保存与绑定有关的数据。其中包括在ActiveMQ上部署的队列及其属性，还有ID序列计数器。 </para>
|
||
<para>绑定日志是一个NIO型日志。与消息日志相比它的呑吐量是比较低的。</para>
|
||
<para>这种日志文件的名字采用<literal>activemq-bindings</literal>作为前缀。每个文件都有
|
||
<literal>bindings</literal>这样的扩展。文件大小是<literal
|
||
>1048576</literal>，它的位置在bindings文件夹下。</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>JMS日志</para>
|
||
<para>这个日志保存所有JMS相关的数据，包括JMS队列，话题及连接工厂，以及它们的JNDI绑定信息。</para>
|
||
<para>通过管理接口创建的JMS资源将被保存在这个日志中。但是通过配置文件配置的资源则不保存。只有使用JMS时JMS的日志
|
||
才被创建。</para>
|
||
<para>这种日志文件的名字采用<literal>activemq-jms</literal>作为前缀。每个文件都有
|
||
<literal>jms</literal>这样的扩展。文件大小是<literal
|
||
>1048576</literal>，它的位置在bindings文件夹下。</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>消息日志</para>
|
||
<para>这个日志用来存贮所有消息相关的数据，包括消息本身和重复ID缓存。</para>
|
||
<para>默认情况下ActiveMQ总是优先使用AIO型日志。如果AIO型日志不可用（比如在非Linux平台上运行，或系统内核版本不同）
|
||
它将自动使用NIO型日志。</para>
|
||
<para>这种日志文件的名字采用<literal>activemq-data</literal>。作为前缀。每个文件都有
|
||
<literal>hq</literal>作为扩展名。默认的文件大小是 <literal
|
||
>10485760</literal> (可配置)。文件保存在journal文件夹下。</para>
|
||
</listitem>
|
||
</itemizedlist>
|
||
<para>对于超大消息，Hornet将它们保存在消息日志之外的地方。详见<xref linkend="large-messages"/>.</para>
|
||
<para>ActiveMQ还可以在内存不够用时将消息暂存到磁盘上。相关的配置和说明参见<xref linkend="paging"/>。</para>
|
||
<para>如果不需要持久功能，ActiveMQ还可以配置成非持久的消息系统。参见<xref linkend="persistence.enabled"/>。</para>
|
||
<section id="configuring.bindings.journal">
|
||
<title>配置绑定日志</title>
|
||
<para>绑定日志的配置参数在 <literal
|
||
>activemq-configuration.xml</literal>文件中。</para>
|
||
<itemizedlist>
|
||
<listitem>
|
||
<para><literal>bindings-directory</literal></para>
|
||
<para>这是绑定日志的位置。默认值是<literal>data/bindings</literal>。</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para><literal>create-bindings-dir</literal></para>
|
||
<para>如果设置为<literal>true</literal>，那么在 <literal
|
||
>bindings-directory</literal> 所设定的位置不存在的情况下会自动创建它。默认值是<literal>true</literal>。</para>
|
||
</listitem>
|
||
</itemizedlist>
|
||
</section>
|
||
<section id="configuring.bindings.jms">
|
||
<title>配置JMS日志</title>
|
||
<para>JMS日志的配置与绑定日志共用配置。</para>
|
||
</section>
|
||
<section id="configuring.message.journal">
|
||
<title>配置消息日志</title>
|
||
<para>消息日志的配置在<literal
|
||
>activemq-configuration.xml文件中。</literal></para>
|
||
<itemizedlist>
|
||
<listitem id="configuring.message.journal.journal-directory">
|
||
<para><literal>journal-directory</literal></para>
|
||
<para>这是消息日志文件所在的目录。默认值是
|
||
<literal>data/journal</literal>。</para>
|
||
<para>为以达到最佳性能，我们建议将日志设定到属于它自己的物理卷中以减少磁头运动。如果日志的位置与
|
||
其它进程共用（如数据库，绑定日志或事务的日志等）则磁头的运动显然要增加很多。性能也就没有保证了。</para>
|
||
<para>如果消息日志是贮存在SAN中，我们建议每个日志都拥有自己的LUN（逻辑单元）。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.create-journal-dir">
|
||
<para><literal>create-journal-dir</literal></para>
|
||
<para>如果设为<literal>true</literal>，则当<literal
|
||
>journal-directory</literal>所指定的日志目录不存在时，会自动创建它。默认值是<literal>true</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-type">
|
||
<para><literal>journal-type</literal></para>
|
||
<para>有效值是<literal>NIO</literal> 或者 <literal>ASYNCIO</literal>。</para>
|
||
<para>Choosing <literal>NIO</literal> chooses the Java NIO journal. Choosing
|
||
<literal>AIO</literal> 选择作用异步IO型日志。如果你的平台不是Linux或者你没有安装
|
||
libaio，ActiveMQ会自动检测到并使用<literal>NIO</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-sync-transactional">
|
||
<para><literal>journal-sync-transactional</literal></para>
|
||
<para>如果设为true，ActiveMQ会保证在事务的边界操作时（commit, prepare和rollback）将事务数据
|
||
写到磁盘上。默认的值是 <literal>true</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-sync-non-transactional">
|
||
<para><literal>journal-sync-non-transactional</literal></para>
|
||
<para>如果设为true ActiveMQ将保证每次都将非事务性消息数据（发送和通知）保存到磁盘上。默认值是 <literal>true</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-file-size">
|
||
<para><literal>journal-file-size</literal></para>
|
||
<para>每个日志文件的大于。单位为字节。默认值是 <literal
|
||
>10485760</literal> bytes (10MiB)。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-min-files">
|
||
<para><literal>journal-min-files</literal></para>
|
||
<para>最少日志文件数。当ActiveMQ启动时会创建这一数量的文件。</para>
|
||
<para>创建并初始化日志文件是一项费时的操作，通常不希望这些操作在服务运行时执行。预先创建并初始化这些
|
||
日志文件将会使ActiveMQ在工作时避免浪费不必要的时间。</para>
|
||
<para>根据你的应用中队列中消息量的实际要求可以适当调节这一参数。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-max-io">
|
||
<para><literal>journal-max-io</literal></para>
|
||
<para>写请求被放到一个队列中，然后再被发送到系统中执行。这个参数限制了在任一时间队列中可以存放的最大数量
|
||
的写请求。如果队列达到这个限制，任何新的写请求都将被阻塞，直到队列中有空位为止。</para>
|
||
<para>当使用NIO时，这个参数必须为 <literal
|
||
>1</literal>。</para>
|
||
<para>当使用AIO时，它的默认值是<literal>500</literal>。</para>
|
||
<para>系统根据不同类型的日志提供不同的默认值。(NIO 为 1, AIO 为 500)。</para>
|
||
<para>如果是AIO，这个参数的上限不能超过操作系统的限制(/proc/sys/fs/aio-max-nr)，这个值通常为65536.</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-buffer-timeout">
|
||
<para><literal>journal-buffer-timeout</literal></para>
|
||
<para>日志模块中有一个内部缓冲。每次写的内容并不是都立即写到磁盘上，而是先放到这个内部缓存中。当这个缓存已满时，或
|
||
者超过了一定的时间（timeout），才将缓存的数据存到硬盘上。NIO和AIO都有这一特点。采用缓存的方式可以很好地满足
|
||
大量并发写数据的需要。</para>
|
||
<para>这一参数规定了缓存的失效时间，如果过了这个时间，即使缓存还没有满，也将数据写入磁盘中。AIO的写入
|
||
能力通常要比NIO强。因此系统对于不同类型的日志有着不同的默认值。（ NIO的默认值是 3333333 纳秒，即每秒300次。
|
||
而AIO则是500000纳秒，即每秒2000次。）</para>
|
||
<note>
|
||
<para>加在这个参数有可能会增加系统的呑吐量，但可能会降低系统的响应能力。通常情况下默认值应该是比较理想的折中选择。</para>
|
||
</note>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-buffer-size">
|
||
<para><literal>journal-buffer-size</literal></para>
|
||
<para>AIO的定时缓冲的大小，默认值为<literal
|
||
>490KiB</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-compact-min-files">
|
||
<para><literal>journal-compact-min-files</literal></para>
|
||
<para>进行整理压缩日志操作的最少文件数。当日志文件少于这个数时，系统不会进行文件的整理压缩。</para>
|
||
<para>默认值是 <literal>10</literal>。</para>
|
||
</listitem>
|
||
<listitem id="configuring.message.journal.journal-compact-percentage">
|
||
<para><literal>journal-compact-percentage</literal></para>
|
||
<para>开始整理压缩的界限值。当有效数据的比例少于这个值时系统开始整理压缩日志。注意是否进行压缩还要
|
||
受到、<literal>journal-compact-min-files</literal>参数的控制。</para>
|
||
<para>这一参数的默认值是 <literal>30</literal>。</para>
|
||
</listitem>
|
||
</itemizedlist>
|
||
</section>
|
||
<section id="disk-write-cache">
|
||
<title>关于关闭磁盘写缓冲的重要说明</title>
|
||
<warning>
|
||
<para>大多数磁盘产品都有硬件的写缓冲。写缓冲可以明显提高写的效率。</para>
|
||
<para>这样的写缓冲与调用fsync()这样的系统函数无关，也与在Java程序中进行的同步调用无关！</para>
|
||
<para>默认情况下许多磁盘的写缓冲是打开的。这样的情况下，即使你在程序中调用了同步操作也不能保证你的数据
|
||
就真正写到磁盘介质中了。因此如果故障发生时，关键的数据是有可能丢失的。</para>
|
||
<para>有些昂贵的磁盘采用非挥发性的介质或有电源的缓冲来保证故障情况下不丢失数据。但是你仍需要对这些硬盘进行测试！</para>
|
||
<para>如果你的磁盘没有非挥发性或有电源的缓存，也不是某种冗余盘阵（如RAID）。要想保证关键数据不丢失，你需要
|
||
关闭磁盘的写缓冲。</para>
|
||
<para>需要知道的是关闭磁盘的写缓冲会显著降低磁盘的性能。如果平时你在使用磁盘时都打开写缓冲，那么当你为了
|
||
保护你的数据而关闭它时，你可能感到两种情况下的明显差异。</para>
|
||
<para>Linux可以用<literal>hdparm</literal> (IDE硬盘) 或 <literal>sdparm</literal> 或
|
||
<literal>sginfo</literal> (SDSI/SATA 硬盘)工具来查看并修改磁盘的写缓冲。</para>
|
||
<para>在Windows平台上你可以右键点击硬盘图标，并选择“属性”菜单项来操作。</para>
|
||
</warning>
|
||
</section>
|
||
<section id="installing-aio">
|
||
<title>安装AIO</title>
|
||
<para>Java NIO日志的性能是很好的。但是如果你是在Linux 内核2.6版本以上的系统中运行ActiveMQ，我们强烈建议
|
||
你使用 <literal>AIO</literal>日志，以获得更佳的性能。</para>
|
||
<para>在早期的Linux版本中或其它操作系统中不可以使用 AIO日志。</para>
|
||
<para>如果你的Linux内核是2.6版本或以上但没有安装 <literal
|
||
>libaio</literal>，按照下列步骤可以很容易地安装它：</para>
|
||
<para>使用 yum，(如 Fedora 或 Red Hat Enterprise Linux):
|
||
<programlisting>yum install libaio</programlisting></para>
|
||
<para>使用 aptitude, (如 Ubuntu 或 Debian):
|
||
<programlisting>apt-get install libaio</programlisting></para>
|
||
</section>
|
||
<section id="persistence.enabled">
|
||
<title>配置ActiveMQ不使用持久化</title>
|
||
<para>在一些情况下消息系统并不需要持久化。这时可以配置ActiveMQ不使用持久层。只要将<literal
|
||
>activemq-configuration.xml</literal>文件中的<literal>persistence-enabled</literal>
|
||
参数设为<literal>false</literal>即可。 </para>
|
||
<para>注意如果你将该参数设为 false来关闭持久化，就意味着所有的绑定数据、消息数据、超大消息数据、重复ID缓冲以及转移（paging）数据都将不会被持久。</para>
|
||
</section>
|
||
<section id="persistence.importexport">
|
||
<title>导入入/导出日志数据</title>
|
||
<para>有时你需要使用导入／导出工具来查看日志文件的记录。这个导入／导出工具类在activemq-core.jar文件中。
|
||
使用以下命令可以将日志文件导出为文本文件：</para>
|
||
<para><literal>java -cp activemq-core.jar org.apache.activemq.core.journal.impl.ExportJournal
|
||
<JournalDirectory> <JournalPrefix> <FileExtension> <FileSize>
|
||
<FileOutput></literal></para>
|
||
<para>要将日志文件导入，使用下面的命令（注意你需要netty.jar）：</para>
|
||
<para><literal>java -cp activemq-core.jar:netty.jar org.apache.activemq.core.journal.impl.ImportJournal
|
||
<JournalDirectory> <JournalPrefix> <FileExtension> <FileSize>
|
||
<FileInput></literal></para>
|
||
<itemizedlist>
|
||
<listitem>
|
||
<para>JournalDirectory：文件的位置，如./activemq/data/journal</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>JournalPrefix： 日志文件的前缀。<link linkend="persistence.journallist">这里</link>有关于前缀的详细描述。</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>FileExtension： 文件的扩展名。详细讨论参见<link linkend="persistence.journallist">这里</link>。
|
||
</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>FileSize：日志文件的大小。详细讨论参见<link linkend="persistence.journallist">这里</link>。</para>
|
||
</listitem>
|
||
<listitem>
|
||
<para>FileOutput：输出的文本文件名。</para>
|
||
</listitem>
|
||
</itemizedlist>
|
||
</section>
|
||
|
||
</chapter>
|