大数据

HBase参数文件hbase-site.xml配置说明

时间:2010-10-22 0:29:34  作者:solgle  来源:www.solgle.com  查看:427  评论:0
内容摘要:hbase.client.scanner.caching定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。hbase.balancer.periodregion均衡器在HBase...
hbase.client.scanner.caching
 
定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。
 
 
 
hbase.balancer.period
 
region均衡器在HBase Master中周期性运行。该属性定义了均衡器运行的时间间隔,默认5分钟,单位毫秒。
 
HBase参数文件hbase-site.xml配置说明
 
hbase.client.write.buffer
 
客户端HTable实例写缓存,单位Byte。越大RPC调用越少,同时占用更多内存。
 
 
 
hbase.hregion.majorcompaction
 
大合并周期性合并。毫秒为单位,默认是一天。(通常建议不开启)
 
 
 
hbase.hregion.max
 
底层存储文件HStoreFile的最大值。region大小由这个参数定义。如果列族的存储文件超过这个值,region会被拆分。
 
 
 
hbase.hregion.memstore.flush.size
 
MemStore的最大值,单位是Byte。当MemStore超过这个值时,会被刷写到磁盘。一个周期性运行的线程检查MemStore的大小,线程运行频率可以由hbase.server.thread.wakefrequency定义
 
 
 
hbase.server.thread.wakefrequency
 
 
 
hbase.hregion.memstore.mslab.enabled
 
MemStore-Local Allocation Buffer是HBase的一个特性,用来在出现密集写时防止堆碎片化。开启它一般会环节由于堆太大引起的垃圾回收暂停太长的问题,默认是true。
 
 
 
hbase.hstore.blockingStoreFiles
 
如果region里某个列族存储文件数目超过这个值,写会阻塞掉,知道合并完成或者阻塞超时。超时是时间使用hbase.hstore.blockingWaitTime设置,单位毫秒。
 
 
 
hbase.hstore.blockingWaitTime
 
 
 
hbase.hstore.compaction.max
 
配置在单个小合并中进行合并的最多文件数。默认是7。
 
 
 
hbase.hstore.compactionThreshold
 
在某个列族的存储文件数达到这个值时,HBase在那个region上执行合并。给这个参数设置的值越大,导致执行合并频率越低,但花费时间也越长。
 
 
 
hbase.mapreduce.hfileoutputformat.blocksize
 
HFile数据块大小在每张表的每个列族层级进行设置,该参数决定HFile建立索引的粒度。数据块越小,随机读取性能越好,同时数据块索引占用的空间越大,消耗内存越多。在MapReduce作业中使用HFileOutputFormat直接把数据写到HFile时,必须用该属性定义数据块大小。
 
 
 
hbase.master.info.port
 
定义用户访问端口
 
http://master:port,默认是60010
 
 
 
hbase.master.port
 
是Master进程监听端口,默认值是60000.
 
 
 
hbase.regionserver.port
 
RegionServer的监听端口
 
 
 
hbase.regionserver.global.memstore.lowerLimithbase.regionserver.global.memstore.upperLimit
 
upperLimit定义在一个RegionServer上MemStore总共可以使用的堆百分比。遇到upperLimit的时候,MemStore被刷写道硬盘,知道遇到lowerLimit时停止。
 
 
 
hbase.regionserver.handler.count
 
在RegionServer和Master进程上可以启动RPC监听数量
 
 
 
hbase.regionserver.optionallogflushinterval
 
不论HLog文件中有多少edits, Hlog多久必须刷写一次文件系统。这个就是强制刷写的时间间隔,单位毫秒。默认是1000ms。
 
 
 
hbase.regionserver.regionSplitLimit
一个系统拥有的region数量的最大值,默认是MAX_INT(2147483647)
 
 
 
hbase.tmp.dir
本地HBase使用临时目录
 
 
 
hfile.block.cache.size
 
数据块缓存可以使用的堆最大量。数据块缓存算法是LRU。
 
 
 
zookeeper.session.timeout
 
HBase守护进程和客户端都是Zookeeper客户端。该参数是他们和Zookeeper之间会话超时时间,单位毫秒。
 
 
 
zookeeper.znode.parent
 
在ZooKeeper中HBase和znode根目录,默认值是/hbase。所有HBase的ZooKeeper文件都被配置为使用该目录作为父目录。
 
标签:HBase参数文件hbase-site.xml配置说明 
相关文章
    相关评论
       Copyright © 2013-2020 solgle.com,All rights reserved.[solgle.com] 公安机关备案号:51010802000219
    Email:solgle@solgle.com; weixin:cd1008610000 ICP:蜀ICP备14011070号-1