-
Notifications
You must be signed in to change notification settings - Fork 12
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Update and rename MinIo.md to AzureBlobStorage.md
- Loading branch information
1 parent
70d747b
commit d410e4d
Showing
2 changed files
with
90 additions
and
203 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,90 @@ | ||
# Aperçu | ||
|
||
[Azure Blob Storage](https://learn.microsoft.com/en-us/azure/storage/blobs/storage-blobs-introduction) est la solution de stockage d'objets de Microsoft pour le cloud. Blob Storage est optimisé pour stocker des quantités massives de données non structurées. Les données non structurées sont des données qui n'adhèrent pas à un modèle de données ou à une définition particulière, comme du texte ou des données binaires. | ||
|
||
Les conteneurs de stockage Azure Blob sont efficaces dans trois domaines : | ||
|
||
- De grandes quantités de données - Les conteneurs peuvent être énormes : bien plus gros que les disques durs. Et ils sont toujours rapides. | ||
- Accessible par plusieurs consommateurs à la fois - Vous pouvez accéder à la même source de données à partir de plusieurs serveurs Notebook et pipelines en même temps sans avoir besoin de dupliquer les données. | ||
- Partage - Les espaces de noms de projet peuvent partager un conteneur. C'est idéal pour partager des données avec des personnes extérieures à votre espace de travail. | ||
|
||
# Installation | ||
|
||
<!-- plus joli-ignorer --> | ||
!!! avertissement "Les conteneurs de stockage Azure Blob et le support de buckets remplaceront les supports de stockage Minio Buckets et Minio" | ||
Les utilisateurs seront responsables de la migration des données des Minio Buckets vers les dossiers Azure Storage. Pour les fichiers plus volumineux, les utilisateurs peuvent contacter AAW pour obtenir de l'aide. | ||
|
||
## Conteneur Blob monté sur un serveur de notebook | ||
|
||
<!-- plus joli-ignorer --> | ||
|
||
Les volumes Blob CSI sont conservés sous « /home/jovyan/buckets » lors de la création d'un serveur Notebook. Les fichiers sous « /buckets » sont sauvegardés par le stockage Blob. Tous les ordinateurs portables AAW auront le « /buckets » monté sur le système de fichiers, rendant les données accessibles de partout. | ||
|
||
![Dossiers Blob montés en tant que répertoires Jupyter Notebook](../images/container-mount.png) | ||
|
||
# Support de dossier AAW pour ordinateur portable non classé | ||
![Dossiers de notebook non classifiés montés dans les répertoires Jupyter Notebook](../images/unclassified-mount.png) | ||
|
||
# Support de dossier AAW pour ordinateur portable protégé-b | ||
![Carnets protégés-b montés en tant que répertoires Jupyter Notebook](../images/protectedb-mount.png) | ||
|
||
Ces dossiers peuvent être utilisés comme n'importe quel autre : vous pouvez copier des fichiers vers/depuis l'explorateur de fichiers, écrire à partir de Python/R, etc. La seule différence est que les données sont stockées dans le conteneur de stockage Blob plutôt que sur un disque local. (et est donc accessible partout où vous pouvez accéder à votre notebook Kubeflow). | ||
|
||
## Comment migrer de MinIO vers Azure Blob Storage | ||
|
||
``` | ||
#!/bin/sh | ||
FULLNAME=<votre-nom-va-ici> | ||
# Obtenir les informations d'identification | ||
source /vault/secrets/minio-standard-tenant-1 | ||
# Ajouter du stockage sous le pseudo "standard" | ||
L'hôte de configuration mc ajoute le standard $MINIO_URL $MINIO_ACCESS_KEY $MINIO_SECRET_KEY | ||
# Si vous souhaitez migrer votre bucket MinIO vers le stockage Blob. | ||
# Se déplacer | ||
mc mv --recursive <minio_path> <blob_path_on_local_system> | ||
# Copie | ||
mc cp --recursive <minio_path> <blob_path_on_local_system> | ||
``` | ||
|
||
<!-- plus joli-ignorer --> | ||
|
||
## Types de conteneurs | ||
|
||
Les conteneurs Blob suivants sont disponibles : | ||
|
||
L’accès à tous les conteneurs Blob est le même. La différence entre les conteneurs réside dans le type de stockage qui les sous-tend : | ||
|
||
- **aaw-unclassified :** Par défaut, utilisez celui-ci. Stocke les données non classifiées. | ||
|
||
- **aaw-protected-b :** Stocke les données sensibles protégées-b. | ||
|
||
- **aaw-unclassified-ro :** Cette classification est protégée-b mais en accès en lecture seule. Cela permet aux utilisateurs de visualiser les données non classifiées dans un bloc-notes protégé-b. | ||
|
||
<!-- plus joli-ignorer --> | ||
|
||
## Accès aux données internes | ||
|
||
<!-- plus joli-ignorer --> | ||
L'accès aux données internes utilise la connexion de stockage commune DAS qui est utilisée par les utilisateurs internes et externes qui ont besoin d'accéder à des données non classifiées ou protégées-b. Les conteneurs suivants peuvent être mis à disposition : | ||
|
||
- **externe-non classé** | ||
- **externe-protégé-b** | ||
- **interne-non classé** | ||
- **interne-protégé-b** | ||
|
||
Ils suivent la même convention que les conteneurs AAW ci-dessus en termes de données, mais il existe une couche d'isolement entre les employés de StatCan et les non-employés de StatCan. Les employés non-Statcan ne sont autorisés que dans les conteneurs **externes**, tandis que les employés de StatCan peuvent avoir accès à n'importe quel conteneur. | ||
|
||
AAW dispose d'une intégration avec l'équipe FAIR Data Infrastructure qui permet aux utilisateurs de transférer des données non classifiées et protégées vers des comptes de stockage Azure, permettant ainsi aux utilisateurs d'accéder à ces données à partir de serveurs Notebook. | ||
|
||
Veuillez contacter l'équipe FAIR Data Infrastructure si vous avez un cas d'utilisation de ces données. | ||
|
||
## Tarifs | ||
|
||
<!-- plus joli-ignorer --> | ||
!!! info "Les modèles de tarification sont basés sur l'utilisation du processeur et de la mémoire" | ||
Le prix est couvert par KubeCost pour les espaces de noms utilisateur (dans Kubeflow en bas de l'onglet Notebooks). | ||
|
||
En général, le stockage Blob est beaucoup moins cher que [Azure Manage Disks](https://azure.microsoft.com/en-us/pricing/details/managed-disks/) et offre de meilleures E/S que les SSD gérés. |
This file was deleted.
Oops, something went wrong.