-
Notifications
You must be signed in to change notification settings - Fork 12
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
- Loading branch information
Showing
23 changed files
with
969 additions
and
967 deletions.
There are no files selected for viewing
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,17 @@ | ||
MLOps, ou Machine Learning Operations, fait référence à l'ensemble de pratiques et d'outils qui permettent aux organisations de développer, déployer et maintenir des modèles d'apprentissage automatique à grande échelle. MLOps vise à rationaliser le processus de bout en bout de création et de déploiement de modèles d'apprentissage automatique en intégrant les différentes étapes du cycle de vie de l'apprentissage automatique dans un flux de travail cohérent et automatisé. | ||
|
||
MLOps implique une gamme d'activités différentes, notamment la préparation et le prétraitement des données, la formation et l'optimisation des modèles, le déploiement et la maintenance des modèles, la surveillance et la maintenance, ainsi que l'amélioration continue. Certains des composants clés de MLOps incluent : | ||
|
||
1. **Gestion des données :** MLOps implique la gestion et le traitement de grandes quantités de données pour garantir la qualité et l'exactitude des modèles d'apprentissage automatique. Cela implique des activités telles que le nettoyage des données, l'intégration des données et la transformation des données. | ||
|
||
2. **Formation et optimisation des modèles :** MLOps implique le développement et le test de modèles d'apprentissage automatique, ainsi que leur optimisation en termes de performances et de précision. Cela peut impliquer d'expérimenter différents algorithmes, hyperparamètres et techniques de prétraitement des données. | ||
|
||
3. **Déploiement de modèles :** MLOps implique le déploiement de modèles d'apprentissage automatique dans des environnements de production, les rendant disponibles pour une utilisation dans des applications du monde réel. Cela peut impliquer la conteneurisation des modèles pour un déploiement et une mise à l'échelle faciles, ainsi que la configuration d'API et d'autres interfaces pour la diffusion de modèles. | ||
|
||
4. **Surveillance et maintenance :** MLOps implique la surveillance des modèles d'apprentissage automatique en production pour garantir qu'ils fonctionnent comme prévu. Cela peut impliquer la configuration d'alertes et de notifications en cas de défaillance du modèle, ainsi que la mise en œuvre de processus de maintenance et de mise à jour du modèle. | ||
|
||
5. **Amélioration continue :** MLOps implique l'amélioration continue des modèles d'apprentissage automatique au fil du temps, sur la base des commentaires des utilisateurs et de l'analyse continue des données de performances. Cela peut impliquer de recycler les modèles avec de nouvelles données ou d'intégrer les commentaires des utilisateurs pour affiner les modèles. | ||
|
||
Afin de mettre en œuvre efficacement les MLOps, les organisations doivent généralement adopter une gamme d'outils et de technologies différents, notamment des plates-formes de gestion de données, des cadres d'apprentissage automatique, des outils de conteneurisation et des outils de surveillance et de journalisation. Ils doivent également établir des flux de travail et des processus clairs pour gérer les différentes étapes du cycle de vie du machine learning, ainsi que mettre en œuvre des mesures de gouvernance et de conformité pour garantir la confidentialité et la sécurité des données. | ||
|
||
En résumé, MLOps est un composant essentiel du cycle de vie du machine learning, permettant aux organisations de développer, déployer et maintenir des modèles de machine learning à grande échelle. En adoptant les pratiques et outils MLOps, les organisations peuvent rationaliser leurs flux de travail d'apprentissage automatique, améliorer la précision et les performances des modèles et offrir plus de valeur aux utilisateurs et aux parties prenantes. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,54 @@ | ||
# Aperçu | ||
|
||
_L'un des principaux avantages de la plateforme ETAA est sa capacité à s'intégrer aux plateformes d'apprentissage automatique populaires telles que Databricks et AzureML._ | ||
|
||
L'Espace de travail d'analyse avancée (ETAA) est une plateforme d'analyse de données open source conçue pour être hautement intégrable. Cela signifie qu'il peut être facilement intégré à d'autres plates-formes et outils pour étendre ses capacités et rationaliser les flux de travail. | ||
|
||
Un exemple de diagramme illustrant une stratégie de connexion PaaS possible : | ||
|
||
<br> | ||
|
||
<center> | ||
![PaaS](../images/PaaS.png) | ||
</center> | ||
|
||
**Configuration :** Si vous avez besoin d'aide pour intégrer une offre de plateforme en tant que service, nous serons heureux de vous aider! | ||
|
||
## Intégration avec les offres de plateforme externe en tant que service (PaaS) | ||
|
||
_L'intégration est la clé du succès._ | ||
|
||
<center> | ||
[![Integrer avec PaaS](../images/IntegratePaaS.PNG)]() | ||
</center> | ||
|
||
Notre plateforme open source offre une optionnalité inégalée à nos utilisateurs. En permettant aux utilisateurs d'utiliser des outils open source, nous leur permettons d'utiliser leurs cadres préférés de science des données et d'apprentissage automatique. Mais la véritable puissance de notre plateforme vient de sa capacité à s'intégrer à de nombreuses offres Platform as a Service (PaaS), comme Databricks ou AzureML. Cela signifie que nos utilisateurs peuvent tirer parti de la puissance du cloud pour exécuter des pipelines complexes de traitement de données et d’apprentissage automatique à grande échelle. Avec la possibilité de s'intégrer aux offres PaaS, notre plateforme permet à nos utilisateurs de faire passer leur travail au niveau supérieur, en leur donnant le pouvoir d'adapter facilement leurs charges de travail et de profiter des dernières innovations dans le domaine de la science des données et des machines. apprentissage. En offrant ce niveau d'optionnalité, nous garantissons que nos utilisateurs peuvent toujours choisir le bon outil pour le travail et garder une longueur d'avance dans un domaine en constante évolution. | ||
|
||
Nous pouvons intégrer de nombreuses offres Platform as a Service (PaaS), comme Databricks ou AzureML. | ||
|
||
|
||
## Databricks | ||
|
||
- [Databricks de Microsoft](https://azure.microsoft.com/en-ca/services/databricks/) | ||
|
||
Databricks est une plateforme basée sur le nuage qui fournit une plateforme d'analyse unifiée pour le traitement du Big Data et l'apprentissage automatique. Avec son puissant moteur informatique distribué et ses outils de flux de travail rationalisés, Databricks est un choix populaire pour créer et déployer des modèles d'apprentissage automatique. En s'intégrant à Databricks, la plateforme ETAA peut exploiter ses capacités informatiques distribuées pour former et déployer des modèles d'apprentissage automatique à grande échelle. | ||
|
||
## AzureML | ||
|
||
- [Azure ML de Microsoft](https://azure.microsoft.com/en-us/services/machine-learning/) | ||
|
||
AzureML est une autre plate-forme d'apprentissage automatique populaire qui fournit une large gamme d'outils pour créer, former et déployer des modèles d'apprentissage automatique. En s'intégrant à AzureML, la plateforme ETAA peut tirer parti de ses puissants outils de création et de formation de modèles, ainsi que de sa capacité à déployer des modèles dans le nuage. | ||
|
||
### Exemples | ||
|
||
_Des exemples de la façon d'intégrer la plate-forme ETAA avec ces plates-formes et d'autres peuvent être trouvés sur le référentiel MLOps Github._ | ||
|
||
- [Dépôt Github MLOps ](https://github.com/StatCan/aaw-kubeflow-mlops) | ||
|
||
Ce référentiel contient une gamme d'exemples et de didacticiels permettant d'utiliser la plateforme ETAA dans divers flux de travail d'apprentissage automatique, notamment la préparation des données, la formation de modèles et le déploiement de modèles. | ||
|
||
## Conclusion | ||
|
||
En s'intégrant à des plateformes d'apprentissage automatique populaires telles que Databricks et AzureML, la plateforme ETAA fournit une solution puissante et flexible pour créer, déployer et gérer des flux de travail d'apprentissage automatique à grande échelle. | ||
|
||
En tirant parti des intégrations et des outils fournis par ces plateformes, les data scientists et les ingénieurs en apprentissage automatique peuvent accélérer leurs flux de travail et obtenir de meilleurs résultats avec moins d'efforts. |
This file was deleted.
Oops, something went wrong.
This file was deleted.
Oops, something went wrong.
Oops, something went wrong.