如何安全存储文件?

2021-01-28 21:59:54

可靠而强大地存储需要IT人员和大量昂贵硬件的数字文件。最近的创新使这种负担得起的方法也很容易做到,即使对于非书呆子也是如此。

TL; DR:请确保您在单独的硬件上有多个副本,并且最好是在异地至少有一个副本。 NAS设备上可用的更新文件系统可以提供其他数据完整性保护措施。请记住,RAID不算在内。

几十年前的“ 3-2-1”备份策略是确保文件安全的较常见策略之一。

如果以不同格式存储数据,则希望不同格式具有不同的寿命。当一个副本先于另一个副本失败时,它会给您时间来制作新副本。

第一个问题是,可供消费者使用的存储格式通常仅是硬盘驱动器和光学存储介质(CD-R,DVD-R或BD-R)。最新的光学存储技术(截至2020年7月)是四层蓝光,每个磁盘可存储100GB。外部硬盘驱动器通常在6-12TB范围内,这是60-120倍大。在光学介质上备份价值150美元的12TB硬盘非常艰巨和昂贵:使用1200万美元的光盘需要120个BD-R磁盘和1400美元的介质。

拔下SD卡后,SD卡会经历“电池电压漂移”,并在5至7年内失去完整性。

硬盘驱动器(通常称为HDD或“旋转锈蚀”)在连续使用4-6年后具有很高的故障率。即使处于脱机状态,HDD数据的完整性也会在5-10年后由于氧化铁基板的退磁或伺服和磁盘电机故障而下降。 (如果您使用了十年的外置硬盘仍然运转起来,那就太幸运了!)

数据完整性是“ 3-2-1备份”无法解决的大问题:即使您有多个数据副本,您如何知道每个副本都没有遭受数据降级的困扰?

您的照片和视频包含数十万,数百万甚至数千万的数据位。

如果由于存储缺陷或媒体降级而使其中一些位“翻转”,则文件可能变得不可读。

硬盘驱动器和光盘使用纠错码为位腐烂提供一定程度的弹性。典型的ECC允许文件中的几个位翻转,检测和自动修复。

但是,ECC只能检测和修复特定速率的位腐烂。旧存储介质中的数据降级可能会超过此速率。

在开发PhotoStructure时,我们发现许多旧版硬盘驱动器上的照片都已屈服于某些位腐烂。我们教会了PhotoStructure如何检测和跳过损坏的照片和视频,希望您拥有给定照片的多个副本,并且其中一个不会烂掉。

不幸的是,Windows和macOS都不支持这些文件系统(它们的较新文件系统,如APFS,仍然无法检测到位腐烂)。 TimeMachine和Backup andRestore均未检测到位旋转。

网络附加存储(NAS)设备可容纳多个大型硬盘驱动器,并以安静的方式安全地存储文件。您可以继续使用自己喜欢的操作系统,但是不必担心位腐烂。

大多数NAS还支持Docker,这是打包和运行第三方应用程序(如PhotoStructure)的一种方式。

Synology是这些解决方案中最“即插即用”的解决方案。确保获得支持btrfs的较新NAS。

Synology的专有硬件比您自己构建它要贵一些,而且通过其UI对Docker的支持有些限制(可以使用Portainer之类的工具来克服)。

Unraid OS在您已经拥有的硬件上运行,支持XFS和btrfs,具有强大的docker支持,但需要商业许可才能使用。添加和删​​除驱动器非常灵活。

TrueNAS CORE(以前称为“ FreeNAS”)是免费的,并且易于安装。它使用ZFS,并支持各种硬件。如果要构建计算机令人生畏,而您想尝试使用TrueNAS CORE,则可以预装TrueNAS Mini。

请注意,由于ZFS的限制,在FreeNAS上通过添加其他磁盘(在Synology和Unraid上很简单)来扩展现有卷并不好玩。 FreeNAS本机使用FreeBSD监狱,这在技术上是优秀的,但绝对不如Docker受欢迎。 FreeNAS的最新版本增加了对docker的支持。

SnapRAID与其他替代方案的不同之处在于,它既不是操作系统也不是文件系统:它是在Linux,macOS和Windows上运行的开源应用程序。

SnapRAID是这里唯一的非实时数据完整性产品:必须定期运行以构建快照或检查和修复数据完整性错误。SnapRAID需要命令行专业知识和手动设置。

(PhotoStructure与这些产品中的任何产品都没有商业关系。但是,我们警告不要使用便宜的NAS品牌,因为安全更新松懈可能导致恶意软件感染和数据丢失。)

考虑获得支持4个或更多驱动器的NAS。如果您的数据超过原始驱动器,则更多驱动器的更多插槽可为您将来提供更大的灵活性。如果您要构建一个运行Unraid的盒子,Fractal会提供一些很好的例子:新的Define7和Meshify2支持12个以上的硬盘(!!)

购买比当前所需量多50%的存储空间,以便将来有增长的空间。

将NAS设置为自动应用安全补丁或通知您这样做。

考虑在NAS上安装病毒扫描程序和恶意软件检测程序包。 Synology也具有“安全审核”工具。

使用安全的管理员和用户密码。启用2FA(如果可用)。使用像Bitwarden这样的密码管理器可以轻松做到这一点。

配置您的NAS以告诉您是否有任何错误:您不希望任何磁盘死掉或备份失败而您不知道。

通过将您的NAS的全部内容复制到通常保持断电和脱机状态的外部硬盘驱动器上,满足“至少3个副本”规则的第二个或第三个副本。每季度执行一次。

考虑将驱动器存放在应急工具包附近,以便在紧急情况下离开家时可以抓住它。

如果您的NAS发生灾难性故障,或者被诸如加密锁之类的恶意软件击中,此外部驱动器还可以减少数据丢失。

通过将NAS设置为自动备份到acloud服务,满足“至少1个异地”规则。 Backblaze和tarsnap都是备受推崇的异地存储解决方案,并且都具有可与新NAS配合使用的解决方案。

如果您不想为云存储付费,则可以设置另一个NAS(例如ata朋友或家人的房子)。 FreeNAS和Synology均支持NAS到NAS复制。

确保将复制作业配置为在深夜运行,并限制网络带宽,以免使您的朋友或家人脾气暴躁。 Resilio Sync(适用于iOS和Android),SyncThing(适用于Android)和PhotoSync(适用于iOS和Android)将自动将手机备份到家里的NAS。 您在手机和NAS上都安装了该软件,然后将手机配置为自动备份到NAS。 我们建议采用这种方法,而不是上传到云服务,只是为了确保原始文件保持完整。 欢迎您试用PhotoStructure,这是一种自托管的照片管理解决方案,可使用Docker在您的台式机,服务器或NAS上运行。