MySQL内存表的特性与使用介绍

By | 2017 年 1 月 11 日

内存表,就是放在内存中的表,所使用内存的大小可通过My.cnf中的max_heap_table_size指定,如max_heap_table_size=1024M,

内存表与临时表并不相同,临时表也是存放在内存中,临时表最大所需内存需要通过tmp_table_size = 128M设定。当数据超过临时表的最大值设定时,自动转为磁盘表,此时因需要进行IO操作,性能会大大下降,

而内存表不会,内存表满后,会提示数据满错误。

临时表和内存表都可以人工创建,但临时表更多的作用是系统自己创建后,组织数据以提升性能,如子查询,临时表在多个连接之间不能共享。这里只讨论内存表

创建表是,用engine=heap可创建(mysql5.5中已经不支持type,以后都用engine,形成习惯)。

create table test(
	id int unsigned not null auto_increment primary key,
	state char(10),
	type char(20),
	date char(30)
)ENGINE=MEMORY DEFAULT CHARSET=utf8;

内存表的特性

    1. 内存表的表定义是存放在磁盘上的,扩展名为.frm, 所以重启不会丢失。
    2. 内存表的数据是存放在内存中的,所以重启会丢失数据。
    3. 内存表使用一个固定的记录长度格式。
    4. 内存表不支持BLOB或TEXT列,比如varchar与text字段就不会被支持。
    5. 内存表支持AUTO_INCREMENT列和对可包含NULL值的列的索引(网上大多说不支持,这是错误的)。内存表支持大于(>) 小于( <)操作,网上也说不支持。
    6. mysql重启后,主键、自增、索引仍然存在,只是数据丢失。这也是对网上的一些错误文字纠正。
    7. 内存表表在所有客户端之间共享(就像其它任何非TEMPORARY表)。
    8. MEMORY存储引擎执行HASH和BTREE索引。你可以通过添加一个如下所示的USING子句为给定的索引指定一个或另一个:

	CREATE TABLE lookup (id INT, INDEX USING HASH (id)) ENGINE = MEMORY;
	CREATE TABLE lookup (id INT, INDEX USING BTREE (id)) ENGINE = MEMORY;

内存表初始化,可以使用--init-file来初始化,避免重启mysql后数据被清空。比如--init-file="/data/mysql/init.sql", init.sql格式为:

  1. 在数据库复制时,如果主机当掉,则会在binLog中自动加入delete from [内存表],将slave的数据也删除掉,以保证两边的数据一致性。
  2. 内存表不支持事务。
  3. 内存表是表锁,当修改频繁时,性能可能会下降。

内存表的使用

内存表使用哈希散列索引把数据保存在内存中,因此具有极快的速度,适合缓存中小型数据库,但是使用上受到一些限制。

  1. heap 对所有用户的连接是可见的,这使得它非常适合做缓存。
  2. 仅适合使用的场合。heap不允许使用xxxTEXT和xxxBLOB数据类型。注:操作符 “<=>” 说明:NULL-safe equal.这个操作符和“=”操作符执行相同的比较操作,不过在两个操作码均为NULL时,其所得值为1而不为NULL,而当一个操作码为NULL时,其所得值为0而不为NULL。
  3. 一旦服务器重启,所有heap表数据丢失,但是heap表结构仍然存在,因为heap表结构是存放在实际数据库路径下的,不会自动删除。重启之后,heap将被清空,这时候对heap的查询结果都是空的。
  4. 如果heap是复制的某数据表,则复制之后所有主键、索引、自增等格式将不复存在,需要重新添加主键和索引,如果需要的话。
  5. 对于重启造成的数据丢失,有以下的解决办法:
    • 在任何查询之前,执行一次简单的查询,判断heap表是否存在数据,如果不存在,则把数据重新写入,或者DROP表重新复制某张表。这需要多做一次查询。不过可以写成include文件,在需要用该heap表的页面随时调用,比较方便。
    • 对于需要该heap表的页面,在该页面第一次且仅在第一次查询该表时,对数据集结果进行判断,如果结果为空,则需要重新写入数据。这样可以节省一次查询。
    • 更好的办法是在mysql每次重新启动时自动写入数据到heap,但是需要配置服务器,过程比较复杂,通用性受到限制。

解决mysql内存表的数据持久性问题

后台服务中往往要根据不同的需要采用不同的数据获取方案。

为了保证系统的高性能,我们一般采取下面2种方案解决

1. Cache

大多数系统都是采用各种Cache 系统来进行数据缓存的,但目前的Cache系统普遍存在的问题是仅提供了简单的数据存储,但不能提供数据组织,计算等逻辑功能。

2. 内存表

多数系统后台DB使用的是Mysql,Mysql提供一种特殊的存储引擎(HEAP),这个即是Mysql的内存表方案。但Mysql内存表不提供数据的持久性能力,DB崩溃,重启后数据即消息,这对于部分业务来说是不可接受的。

下面以一个简单的例子来描述这种方法:

1. 建立内存表:

CREATE TABLE `t_music_list` (
`Fmusic_id` varchar(12) NOT NULL default '',
`Fmusic_name` varchar(64) NOT NULL default '',
`Fstatus` int(11) NOT NULL default '0',
`Ftry_count` int(11) NOT NULL default '0',
`Flisten_count` int(11) NOT NULL default '0',
`Ffee` int(11) NOT NULL default '0',
`Fdesc` varchar(255) NOT NULL default '',
`Fsinger_name` varchar(32) NOT NULL default '',
`Fsinger_gender` varchar(6) NOT NULL default '',
`Fsinger_type` varchar(16) NOT NULL default '',
`Fcopy_right` int(11) NOT NULL default '0',
PRIMARY KEY (`Fmusic_id`),
KEY `Fmusic_name` (`Fmusic_name`,`Flisten_count`)
) ENGINE=HEAP DEFAULT CHARSET=latin1;

---这是一个歌曲库的DB例子,由于需要频繁的查询,修改,以及业务需要进行较复杂的排名搜索等逻辑操作,因此采用了这种机制。

2. 生成快照脚本 ---   snapshot_music_list.sh

src_port=3306
user='xxx'
pass='xxx'
FOLD='/data/t_music_list.log'
dstfile='/data/t_music_list.dat'
if [ -f "$dstfile" ] ;
then
        mv $dstfile ${dstfile}_bak
fi
$MYSQL >> ${FOLD} -u${user} -h${src_host} -P${src_port} -p${pass} -f -N <<!
select * from myDB.t_music_list into outfile '${dstfile}';
!
filezize=`du -b $dstfile| awk '{print $1}'`
if [ $filezize -lt 2048 ] ;
then
        echo "Dest file too slow, recover it by backedfile."
        mv ${dstfile}_bak $dstfile
fi

---用crontab 定时执行

*/5 * * * * /usr/local/app/tools/ snapshot_music_list.sh >/dev/null 2>

3. mysql启动时进行数据恢复   启动时执行恢复脚本,恢复脚本负责将快照数据重新导入DB

数据恢复脚本 ---initdb.sql

load data infile '/data/t_music_list.dat' into table myDB.t_music_list;

mysql启动配置    --- my.cnf

[mysqld]

init-file       = /usr/local/app/tools/initdb.sql

发表回复

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据