hadoop snapshots 快照

本文是官方文档的翻译固定链接为:https://www.askmac.cn/archives/hadoop-snapshots.html

原文链接:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html

 

1概述

 

HDFS 快照是文件系一个时间点的只读的副本。快照可以是部分文件系统,或者整个文件系统。一些场景使用快照的场景是数据备份,防止用户误操作和灾难恢复。

 

使用HDFS 快照是高效的:

  • 快照创建是瞬间的:成本是0(1)排除查找信息节点的时间 。
  • 额外的内存使用仅仅当对快照进行修改时产生:内存使用时0(M),M是修改文件/目录的数量。
  • 在datanode中的块不会被拷贝:快照文件记录这些块列表和文件大小。不会产生数据拷贝。
  • 快照不会对日常的HDFS操作产生不利的影响:修改被按反向时间排序记录,这样当前数据可以直接的访问。快照数据是由当前数据减去修改数据计算出来的(www.askmac.cn)。

 

1.1 snapshottable目录

 

快照可以产生在任何被设置为snapshottable的目录中。一个snapshottable目录可以同时容纳65536个快照。snapshottable目录没有个数上限,管理员可以设置任意个snapshottable。如果一个snapshottable中存在快照,那么这个目录在删除所有快照之前,不能删除或改名。

嵌套的snapshottable目录在现在并不支持。换句话说,如果一个目录的父目录/子目录是一个snapshottable目录的话,那么其不能设置为snapshottable。

 

1.2 快照 路径

 

对于一个snapshottable目录,”.snapshot”组件有利于访问其快照。假设/foo是一个snapshottable目录,/foo/bar是 /foo中的一个文件/目录,/foo有一个快照s0,那么这个路径

/foo/.snapshot/s0/bar


列出一个snapshottable目录中所有的快照:关联到快照副本/foo/bar。一般的API和CLI都可以在”.snapshot”路径上工作。下面是一些例子

 

hdfs dfs -ls /foo/.snapshot

 

  • 列出在快照s0中的文件:
hdfs dfs -ls /foo/.snapshot/s0

 

  • 从快照s0中拷贝文件:
hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp

 

注意这个例子使用了保存选项来保存时间戳,所有权,权限,ACLS和XAttrs

 

 

 

2 在有快照的时候升级HDFS版本

 

HDFS快照特性引用了一个新的保留路径名,来进行快照交互:.snapshot。当HDFS从一个旧版本升级时,现存的路径名称.snapshot需要首先重命名或者删除,来避免保留路径的冲突。更多详细类容,参考HDFS用户指南升级部分(www.askmac.cn)。

 

3快照操作

 

3.1管理员操作

 

本节中描述的操作需要超级用户权限

 

允许快照

 

允许一个快照目录被创建。如果这个操作成功完成,这个目录就变成snapshottable

 

  • 命令:
hdfs dfsadmin -allowSnapshot <path>

 

  • 参数:

path   snapshottable目录的路径

 

禁止快照

禁止快照目录创建。在静止快照之前目录中的所有快照必须删除。

 

  • 命令:
hdfs dfsadmin -disallowSnapshot <path>
  • 参数

path   snapshottable目录的路径

 

也可以参考Hdfsadmin中相关JAVA API void disallowSnapshot(Path path)

 

 

3.2 用户操作

 

本节介绍用户操作。注意HDFS超级用户,可以执行除了个人操作需要满足的安全权限之外的所有操作(www.askmac.cn)。

 

创建快照

 

在snapshottable目录中创建一个一个快照。这个操作需要拥有snapshottabl目录所有者权限。

  • 命令
hdfs dfs -createSnapshot <path> [<snapshotName>]
  • 参数:

 

path snapshottable目录的路径
snapshotName 快照的名称,是一个可选参数。当其省略时,默认的名称是使用时间戳”s’yyyyMMdd-HHmmss.SSSS”的格式,例如”s20130412-151029.033″

 

也可以参考文件系统中相关JAVA API Path createSanpshot(Path path)和Path createSnapshot(Path path,String snapshotName)。在这些方法中返回了快照路径。

 

 

删除快照

 

从一个snapshottable目录中删除快照。这个操作需要拥有snapshottabl目录所有者权限(www.askmac.cn)。

 

  • 命令
hdfs dfs -deleteSnapshot <path> <snapshotName>

 

  • 参数:
path snapshottable目录的路径
snapshotName 快照名称

 

重命名快照

 

重命名一个快照。这个操作需要拥有snapshottabl目录所有者权限。

 

  • 命令:
hdfs dfs -renameSnapshot <path> <oldName> <newName>
  • 参数:
path snapshottable目录的路径
oldName 旧的快照名
newName 新的快照名

 

也可以参考文件系统中相关JAVA API void renameSnapshot(Path path, String oldName, String newName)

 

 

获得snapshottable目录列表

 

获得当前用户有权限产生快照的所有snapshottabl目录

  • 命令:
hdfs lsSnapshottableDir

 

  • 参数:无

 

也可以参考分布式文件系统中相关JAVA API SnapshottableDirectoryStatus[] getSnapshottableDirectoryListing()

 

获得 快照差异报告

 

在2个快照之间获得差异。这个操作需要在2个快照中,所有文件/目录的读和访问权限(www.askmac.cn)。

  • 命令:
hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

 

  • 参数:
path snapshottable目录的路径
fromSnapshot 开始快照的名称
toSnapshot 结束快照的名称

 

 

  • 结果:
+ 文件/目录 被创建
_ 文件/目录 被删除
M 文件/目录 被修改
R 文件/目录 被重命名

 

一个RENAME提示一个文件/目录被重命名,但是仍然存在相同的snapshottable目录中。如果一个文件/目录被重命名到snapshottable目录外,那么会打印为删除。从snapshottable目录之外重命名进来的文件/目录,被打印为新创建。

 

快照差异报告不能保证相同操作的顺序。例如,如果我们将目录”/foo”重命名为”/foo2″,然后增加一个新文件为”/foo2/bar”,这个差异报告将是:

R. /foo -> /foo2
M. /foo/bar

 

即,在一个目录重命名下的文件/目录 变更,在报告的时候,是使用原来未重命名之前的名称。(例如上面的”/foo/bar”)

也可以参考分布式文件系统中相关JAVA API SnapshotDiffReport getSnapshotDiffReport(Path path, String fromSnapshot, String toSnapshot)

 


Posted

in

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *