fsspec:python的文件系统接口

2021-06-16 09:28:05

FileSystem规范(FSSPEC)是一个项目,可以使用标准Pythonic接口统一与远程文件系统和类似的抽象一起使用的各种项目和类。

实现提供随机访问,仅启用要读取的文件的一部分;加上Templateto基础其他文件类似的类

如果已安装,则所有文件系统类也来自pyarrow.filesystem.filesystem.filesystem,Socan使用任何arrow函数,期望这样的实例

写入可以是事务性:存储在临时位置,并且当事务承诺时才会移动到FinalDestination

默认情况下,并非所有包含的文件系统都可以使用,而无需安装Extrapeencies。例如,能够在S3中访问数据:

此repo包含多个文件系统实现,请参阅内置实现。但是,外部项目S3FS和GCSFS取决于FSSPEC并共享相同的行为。 DASK和Intake在内部使用FSSPEC以获得IO需求。

这些仅在请求中导入,如果缺少必需的依赖项,则可能会失败。字典fsspec.registry包含所有导入的实现,如果需要,可以由用户代码突变。