记录日常工作关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题。
 
0

HDFS 文件块大小设置

发表者:admin分类:大数据2021-04-28 14:54:52 阅读[2805]

 Hadoop HDFS 文件块大小


HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksiz)来规定,

默认大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M。


1)集群中的block


2)如果寻址时间约为10ms,即查找到目标block的时间为
blockd 10ms。


3)寻址时间为传输时间的1%时,则为最佳状态。(专家) 因此,传输时间=10ms/0.01=1000ms=1s,

4)而目前磁盘的传输速率普遍为100MB/s。 


5 block大小=1s*100MB/s=100MB



思考∶为什么块的大小不能设置太小,也不能设置太大 ?
(

1)HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置;


(2)如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。

导致程序在处理这块数据时,会非常慢。



总结∶ HDFS块的大小设置主要取决于磁盘传输速率。








转载请标明出处【HDFS 文件块大小设置】。

《www.92cto.com》 虚拟化云计算,系统运维,安全技术服务.

网站已经关闭评论