Z3 - ZFS到S3备份/恢复工具

2021-03-23 10:36:17

Z3是S3备份工具的ZFS。这基本上是ZFS发送和ZFS Receiveso的管道,您应该至少对这些命令进行的基本了解。

Z3状态将显示当前状态,您在S3和LocalZFS数据集上有哪些快照。

Z3在Python 2.7上进行测试,最新Boto 2和Boto 2.2.2(Ubuntu 12.04上的Python-Boto版本)。

#安装PV以获得一些进度指示,同时上传。

大多数选项可以配置为命令行标志,环境变量或配置文件中的命令行。如果存在,则从/etc/z3_backup/z3.conf读取配置文件,该工具提供了一些默认值。铲斗S3_KEY_ID和S3_SECRET CAN' t在命令行上提供。对于所有选项的列表,请参阅z3 / sample.conf。

您' ll通常希望z3只备份某些快照(每小时/每周/每周)。要执行此操作,您可以指定快照_prefix(默认为zfs-auto-snap:每日)。

由于数据从ZFS流式传输,因此在Chunks.z3中读到内存中的内存估计为您的良好的块大小:最多9999个块中不小于5MB和大型eNuareo。这些是Multipart Uploads的S3限制。它是不同数据集的一些示例块大小:

#显示全局选项z3 --help#显示默认数据集的备份状态#station#显示其他数据集的状态;只有名为Daily-SPAM- * Z3 --Dataset Tank /垃圾邮件--Snapshot-Prefix Dainiace-Spam-状态的快照

#显示备份选项Z3备份--help#执行增量备份最新快照;使用Pigz4 Compressorz3备份--Compressor Pigz4 - 运行#检查将执行的命令Z3备份--Compressor Pigz4#执行特定Snapshotz3备份的完整备份 - Full -Snapshot - 零件后─ -sign --dry-run#检查将执行的命令zh备份--full --snapshot零件后签名

#查看Restore OptionsZ3 Restore --help#还原数据集到某个Snapshotz3还原零件后签名 - 运行#检查所执行的命令Z3还原零件后 - 在文件系统(ZFS RECV -F)Z3恢复零件后返回 - 签名 - 签名 - 签名

z3_ssh_sync为便利工具允许您将ZFS快照推到另一个主机。如果您需要复制,则应结帐Zrep。这是因为我们'在2个节点之间的ve已经zrep,需要推送备份到第三机器的方法。

测试套件使用Pytest.some将数据上传到S3,因此您需要设置以下环境:

使用ZFS发送的快照,可选的管道槽A压缩机(默认情况下),并且最终将PUTET向pput.Incremental快照单独处理,因此如果您有多个快照来SENDISINS,则&#39执行了备份它们作为单独的快照导出(对ZFS发送-I DataSet @ Snapa Dataset @ Snapb)。

您的快照最终在S3桶中的单个键,可配置前缀(S3_PREFIX).S3密钥元数据用于标识快照是否已满(Isfull ="真")或增量。使用父属性标识增量快照。

S3运行状况检查非常基本上,基本上如果快照是父级的增量检查,父母存在并且是健康的。 完全备份总是假设健康。 pput是一个有一个作业的简单工具,从stdin读取数据并将其上传到s3.it' s通常由z3调用。 一致性是重要的,它'如果有些事情默默地上传不一致或部分数据,那么很困难。有很少的预期错误(如果一部分未能上传,重试max_retry次数).any其他问题是意外的,所以只是 让工具崩溃。