Análisis técnico de Filecoin: comprensión profunda de la gestión del almacenamiento

La unidad de almacenamiento de Filecoin se denomina sector (Sector). Los amigos que entienden la estructura de los discos duros tradicionales deberían estar más familiarizados con este término.La unidad de almacenamiento más pequeña de los discos duros tradicionales se llama Sector. Para probar el almacenamiento de Sector, Filecoin ha llevado a cabo una serie de procesamientos, los legendarios P1/P2/C1/C2. Durante el procesamiento, el cálculo de un Sector generará varios archivos y eventualmente se generará una réplica. ¿Cómo se organizan los archivos relacionados? ¿De qué archivos se compone la memoria caché y qué tamaño tienen? Este artículo analiza estos procesos y la lógica desde una perspectiva de almacenamiento.

La lógica de la gestión del almacenamiento de Filecoin se implementa principalmente en el proyecto de sector-almacenamiento. Antes de comprender en profundidad la lógica de almacenamiento del sector, hablemos de Worker y Manager.

01 Términos relacionados

Trabajador: maneja los servicios P1/P2/C1/C2 El trabajador se divide en dos tipos: trabajador local y trabajador remoto. El trabajador local maneja el procesamiento del servicio local, el trabajador remoto admite el procesamiento del servicio remoto

Gerente: administre varios trabajadores

Programador: programador, programa varios trabajadores, un gerente generalmente tiene un programador

Tienda - Sector sistema de almacenamiento

02 Almacenamiento sectorial

Los archivos relacionados con el procesamiento del sector se almacenan en la Tienda. La tienda se configura a través de sectorstore.json:

CanSeal indica que Store se puede utilizar para Seal (almacenamiento de archivos temporales relacionados con Seal), y CanStore indica que Store puede almacenar de forma persistente el resultado de Seal (réplica). El peso es el peso, que se utiliza cuando se seleccionan varias tiendas. ID es el número UUID de la Tienda.

Hay tres tipos de almacenamiento en un Almacén, correspondientes a tres directorios: sin sellar (archivos sin sellar), caché (archivos en caché) y sellado (archivos sellados).

03 Trabajador y tienda

BTC cayó por debajo de la marca de los $34 700 con un aumento intradiario del 2,56 %: según datos de Huobi Global, BTC cayó a corto plazo y cayó por debajo de la marca de los $34 700. Ahora se reporta en $34 698,38, con un aumento intradiario del 2,56 %. fluctúa mucho, por favor haga un buen trabajo en el control de riesgos. [2021/1/13 16:01:05]

Esta imagen en el LÉAME del proyecto sector-almacenamiento es una buena explicación de los diversos módulos del sector almacenamiento y su relación:

La imagen completa se divide en partes superior e inferior: la parte superior es el administrador y la parte inferior es el trabajador remoto. El Gerente incluye un Trabajador Local. stores.Index es el índice de todo el almacenamiento del Sector. Scheduler, en el medio de la parte superior, gestiona todos los Trabajadores y programa el almacenamiento relacionado con el Sector.

Las API de administración de trabajadores implementan la administración remota de trabajadores a través de la interfaz jsonRPC de /rpc/v0. La operación de recuperación del almacenamiento se realiza a través de la API HTTP de /remote. En pocas palabras, el archivo se transfiere. specs-storage.Prover/Sealer/Storage es la interfaz expuesta por Manager, que realiza la prueba, el sellado y el almacenamiento del Sector.

Cada Trabajador conectado al Administrador sincronizará su memoria/CPU y la información de la memoria de video con el Administrador. Cuando el Programador recibe una nueva solicitud, seleccionará el Trabajador más adecuado de los Trabajadores actuales para procesar la solicitud de acuerdo con el tipo de solicitud (Tarea) y los requisitos de recursos. Cómo seleccionar un Trabajador, amigos interesados, pueden verificar la lógica relevante del selector.

Desde la perspectiva del almacenamiento, reorganice estas relaciones:

Tome un Gerente conectando a dos Trabajadores como ejemplo. El trabajador solo puede sellar, pero no almacenar. Para mostrar más claramente la transmisión de datos entre Trabajadores, el primer Trabajador solo hace Precommit1, y el segundo Worker hace Precommit2 y Commit.

04 Tarea de sellado

Para entender Seal Task, lo mejor es compararlo con la gestión estatal de Sector. Para aquellos que no estén familiarizados con la gestión del estado del Sector, pueden consultar los artículos anteriores:

Filecoin - Lógica de gestión del estado del sector

A continuación, mire los cambios en los datos almacenados correspondientes a cada Tarea de Sello.

Si el trabajador de la izquierda recibe la tarea, la tarea AddPiece creará los datos originales en el directorio abierto.

La etapa PreCommit1, denominada P1, calcula varias capas de datos para el algoritmo SDR. Si el sector es 32G, se deben calcular 11 capas. Para aquellos que no están familiarizados con el algoritmo SDR, pueden leer los artículos anteriores:

Después de PreCommit1, los datos generados se almacenan en caché:

Precommit2

La etapa de PreCommit2, denominada P2, genera Réplica, calcula Hash de columna y genera el árbol Merkle (tree_d, tree_c, tree_r_last). Debido a que P2 no es procesado por el mismo Worker, debe transmitirse al Worker correspondiente antes del procesamiento, y los resultados del procesamiento también se almacenan en la memoria caché:

Después de que Commit genera una prueba, ingresa al estado Finalizar, que puede entenderse como "archivo". Debido a que no hay capacidad de almacenamiento en el trabajador, los datos que no necesitan conservarse se eliminan y los datos que deben almacenarse de forma persistente se transmiten de vuelta al administrador.

05 Capacidad de almacenamiento de datos

Tomando el Sector 32G como ejemplo, los datos que deben almacenarse durante el procesamiento son los siguientes:

Datos sin procesar - 32G

Merkle de datos sin procesar - 32G

Capa P1 - 32*11G

P2 - Hash de columna  &tree_c - 32*2G

P2 - Réplica y tree_r_last - 32G + 9,2M*8

Total: un poco más de 512G.

06 Datos persistentes

Después de que Sector sea procesado por P1/P2/C1/C2, es decir, después del procesamiento de PoREP, los datos de Réplica y tree_r_last deben almacenarse de forma persistente. La razón por la cual los datos de tree_r_last deben almacenarse es que se utiliza PoSt. En particular, los datos de tree_r_last no son los datos completos del árbol de Merkle y se han eliminado los datos de algunas capas.

Sector 32G, el tree_r_last correspondiente se divide en 8 subárboles, y cada subárbol es un octree.Al almacenar de forma predeterminada, se ignoran las dos capas más bajas. Es decir, la cantidad de almacenamiento excluyendo los dos niveles más bajos es:

Por lo tanto, los datos de almacenamiento de cada subárbol son 4G*0,00223 = 9,13M.

En otras palabras, la relación de almacenamiento persistente del Sector es de alrededor de 1.0022.

Resumen:

La lógica de la gestión de almacenamiento de Filecoin se encuentra principalmente en el sector de almacenamiento. Las tareas de procesamiento del sector pueden ser completadas por varios trabajadores. La estructura del directorio de almacenamiento de cada Trabajador es coherente y los datos del Sector se pueden transmitir entre varios Trabajadores a través del servicio HTTP. Durante el procesamiento del sector, el requisito máximo de almacenamiento es de alrededor de 512G. La relación de almacenamiento persistente es 1,0022.

Tags：

cadena de bloques