阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Linux 日志文件系统如何工作

81次阅读
没有评论

共计 1791 个字符,预计需要花费 5 分钟才能阅读完成。

导读文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据 (metadata) 包括 Superblock、inode bitmap、inode、data block bitmap 等,所以写操作无法一步完成,如果其中任何一个步骤被打断,就会造成数据的不一致或损坏。

Linux 日志文件系统如何工作

举一个简化的例子,我们对一个文件进行写操作,要涉及以下步骤:

  • 1. 从 data block bitmap 中分配一个数据块;
  • 2. 在 inode 中添加指向数据块的指针;
  • 3. 把用户数据写入数据块。

如果步骤 2 完成了,3 未完成,结果是数据损坏,因为该文件认为数据块是自己的,但里面的数据其实是垃圾;

如果步骤 2 完成了,1 未完成,结果是元数据不一致,因为该文件已经把数据块据为己有,然而文件系统却还认为该数据块未分配、随后又可能会把该数据块分配给别的文件、造成数据覆盖;

如果步骤 1 完成了、2 未完成,结果就是文件系统分配了一个数据块,但是没有任何文件用到这个数据块,造成空间浪费;

如果步骤 3 完成了,2 未完成,结果就是用户数据写入了硬盘数据块中,但白写了,因为文件不知道这个数据块是自己的。

日志文件系统 (Journal File System) 就是为解决上述问题而诞生的。

它的原理是在进行写操作之前,把即将进行的各个步骤(称为 transaction)事先记录下来,保存在文件系统上单独开辟的一块空间上,这就是所谓的日志(journal),也被称为 write-ahead logging,日志保存成功之后才进行真正的写操作、把文件系统的元数据和用户数据写进硬盘(称为 checkpoint),这样万一写操作的过程中掉电,下次挂载文件系统之前把保存好的日志重新执行一遍就行了(术语叫做 replay),避免了前述的数据损坏场景。

有人问如果保存日志的过程中掉电怎么办?最初始的想法是把一条日志的数据一次性写入硬盘,相当于一个原子操作,然而这并不可行,因为硬盘通常以 512 字节为单位进行操作,日志数据一超过 512 字节就不可能一次性写入了。所以实际上是这么做的:给每一条日志设置一个结束符,只有在日志写入成功之后才写结束符,如果一条日志没有对应的结束符就会被视为无效日志,直接丢弃,这样就保证了日志里的数据是完整的。

一条日志在它对应的写操作完成之后就没用了,占用的硬盘空间就可以释放。保存日志的硬盘空间大小是有限的,被循环使用,所以日志也被称为 circular log。

至此可以总结一下日志文件系统的工作步骤了:

  • Journal write : 把 transaction 写入日志中;
  • Journal commit : 在一条日志保存好之后,写入结束符;
  • Checkpoint : 进行真正的写操作,把元数据 (metadata) 和用户数据 (user data) 写入文件系统;
  • Free : 回收日志占用的硬盘空间。

以上方式把用户数据 (user data) 也记录在日志中,称为 Data Journaling,Linux EXT3 文件系统就支持这种方式,这种方式存在效率问题:

就是每一个写操作涉及的元数据 (metadata) 和用户数据 (user data) 实际上都要在硬盘上写两次,一次写在日志里,一次写在文件系统上。元数据倒也罢了,用户数据通常比较大,拷贝几个 GB 的电影文件也要乘以 2 实在是降低了效率。

一个更高效的方式是 Metadata Journaling,不把用户数据 (user data) 记录在日志中,它防止数据损坏的方法是先写入用户数据(user data)、再写日志,即在上述”Journal write”之前先写用户数据,这样就保证了只要日志是有效的,那么它对应的用户数据也是有效的,一旦发生掉电故障,最坏的结果也就是最后一条日志没记完,那么对应的用户数据也会丢,效果与 Data Journaling 丢弃日志一样,重要的是文件系统的一致性和完整性是有保证的。

Metadata Journaling 又叫 Ordered Journaling,大多数文件系统都采用这种方式。像 Linux EXT3 文件系统也是可以选择 Data Journaling 还是 Ordered Journaling 的。

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-07-25发表,共计1791字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中