Accueil BigQuery Gestion et déploiement efficaces des modèles de ML avec Google Vertex AI : du registre de modèles à la recherche vectorielle

Gestion et déploiement efficaces des modèles de ML avec Google Vertex AI : du registre de modèles à la recherche vectorielle

Gestion et déploiement de modèles ML avec Google Vertex AI Visual

Google Vertex AI permet le développement, le déploiement et la gestion efficaces de modèles de Machine Learning. Le Wiki offre un guide pour une vue d'ensemble complète des fonctions centrales de la plateforme, y compris Model Registry, les prédictions en ligne et par lots ainsi que la recherche vectorielle.

L'outil Google Vertex AI est essentiel pour optimiser les flux de travail de ML, accélérer le traitement des données et améliorer la précision des résultats. La plateforme est particulièrement adaptée à la mise à l'échelle et à la gestion de projets d'IA dans différents secteurs d'activité.

Table des matières

1. Activer les API et les modèles prédéfinis : Utilisation optimale de Google Vertex AI

 

1.1 Tableau de bord 

Vertex AI est une plateforme complète qui met à disposition une variété d'API pour permettre l'utilisation de l'intelligence artificielle dans différents cas d'application. Pour pouvoir utiliser pleinement Vertex AI, les API suivantes doivent être activées :

1.
API Vertex AI :

API centrale pour l'accès aux fonctions principales de la plateforme.

2.
API Cloud Storage :

Permet de sauvegarder et de récupérer des données nécessaires aux modèles de Machine Learning.

3.
API Notebook :

Prend en charge la création et la gestion de Jupyter Notebooks.

4.
API Dataflow :

Permet le traitement de grands volumes de données en temps réel ou par lots.

5.
Artifact Registry API :

Gère et stocke les artefacts de construction tels que les conteneurs.

6.
API de traçabilité des données :

Permet de suivre l'origine des données afin d'améliorer leur qualité et leur gouvernance.

7.
API du catalogue de données :

Aide à l'organisation et à la gestion des métadonnées des ressources de données.

8.
API Compute Engine :

Permet la gestion et la mise à l'échelle des ressources de calcul.

9.
API Dataform :

Prend en charge la gestion des pipelines de données et des processus ETL.

10.
API Vision AI :

Spécialisé dans la reconnaissance d'images et les tâches d'apprentissage automatique visuel connexes.

De plus, Vertex AI permet de surveiller des métriques spécifiques de chaque service afin de suivre efficacement les performances et l'utilisation. Cela offre des informations précieuses sur les aspects opérationnels de la plateforme et aide à optimiser les applications.

 

Aperçu approfondi de Google Vertex AI

Le livre blanc offre des informations complètes sur la gestion et la mise à disposition efficaces des modèles de ML avec Google Vertex AI. Il aborde des thèmes centraux tels que le Model Registry et la recherche vectorielle et montre comment ces fonctions contribuent à l'optimisation des projets d'IA. Une lecture approfondie permet de mieux comprendre les possibilités et les avantages de Google Vertex AI dans la pratique.
Capture d'écran du livre blanc Vertex

1.2 Catalogue de modèles 

Model Garden est une collection de modèles et d'outils de Machine Learning préfabriqués, disponibles dans Google Cloud Vertex AI. Il permet aux développeurs et aux data scientists de créer, de tester et de déployer rapidement et facilement des modèles pour une variété de cas d'utilisation. Au total, 153 modèles sont disponibles.

Les modèles sont divisés en trois catégories principales :

  • Vaste savoir : Modèles polyvalents entraînés sur de grandes quantités de données.
  • Adaptable : Peut être optimisé et spécialisé pour différentes tâches.
  • Spécialisation : Versions affinées des modèles de fondation, adaptées à des tâches spécifiques.
  • Personnalisation avancée : Nécessite des données et du code supplémentaires pour une adaptation précise et une amélioration des performances.
  • Prêt à l'emploi : Modèles préfabriqués pour des tâches spécifiques, prêts à l'emploi.
  • Ajustement fin possible : Certaines solutions permettent des adaptations avec vos propres données pour une optimisation individuelle.

De plus, les modèles peuvent être divisés en catégories supplémentaires :

  • Modèles de langage
  • Modèles tabulaires
  • Modèles de documents
  • Modèles multimodaux
  • Modèles de vision
  • Modèles de discours
  • Modèle vidéo 

 

Une autre façon de catégoriser les modèles est selon leurs caractéristiques :

  • Vertex AI Studio (modèles prêts à l'emploi qui peuvent être testés dans la console, comme Gemini)
  • API disponible (modèles accessibles via une API)
  • Open source
  • Support Notebook
  • Support de pipeline
  •  Déploiement en un clic

2. Aperçu des principaux modèles et API dans Google Vertex AI : possibilités d'utilisation et cas d'application

Google Vertex AI comprend une large gamme de modèles et d'API qui couvrent divers cas d'utilisation de l'IA. Cette présentation offre un aperçu de l'utilisation d'outils tels que Gemini 1.0 Pro et AutoML Vision pour optimiser les flux de travail ML et pour une mise à l'échelle efficace des projets d'IA.

2.1 Langue :

Gemini 1.0 Pro : Gemini 1.0 Pro est le nom du grand modèle linguistique Gemini, qui comprend le langage. Il s'agit d'un modèle de base adapté à une multitude de tâches de traitement du langage naturel, telles que les résumés, le suivi des instructions, la génération de contenu, l'analyse des sentiments, l'extraction d'entités, la classification, etc. Les contenus que Gemini 1.0 Pro peut générer comprennent des résumés de documents, des réponses à des questions, des étiquettes pour la classification de contenu et bien plus encore.

Cas d'utilisation : 

  • Réponse aux questions
  • Classification
  • Analyse de l'humeur
  • Extraction d'entités

Average Word Embedding Classifier : Le Average Word Embedding Classifier est un modèle de classification de texte simple et léger qui utilise des vecteurs de mots moyens pour créer une représentation de texte et l'évalue via un réseau à deux couches avec activation RELU. Le modèle est conçu pour être utilisé sur des appareils et peut être utilisé avec MediaPipe Tasks TextClassifier sur différentes plateformes telles qu'Android, iOS, Web et Desktop.

Cas d'utilisation :

  • Classification de texte

Modération de texte : La modération de texte analyse un document et identifie les catégories nuisibles et sensibles qui s'appliquent au texte trouvé dans le document.

Cas d'utilisation :

  • Vérification des contenus potentiellement choquants qui pourraient entraîner une perception négative de la marque.
  • S'assurer que le contenu généré par les utilisateurs et le contenu rédactionnel sont conformes à l'image de marque pour la publicité.
  • Identification des commentaires toxiques dans les forums et les messages de chat qui pourraient offenser et rebuter les utilisateurs.

2.2 Tabulaire :

Claude 3 Opus : Claude 3 Opus d'Anthropic est le modèle d'IA le plus performant de l'entreprise et présente des capacités exceptionnelles pour les tâches complexes. Le modèle peut gérer des tâches ouvertes et des scénarios inconnus avec une aisance linguistique impressionnante et une compréhension proche de celle de l'homme. Tous les modèles Claude 3 peuvent traiter des images, produire du texte et disposent d'un K de 200

Cas d'utilisation :

  • Automatisation des tâches : Planification et exécution d'actions complexes via des API et des bases de données, P
  • Recherche et développement (R&D) : Examen des travaux de recherche, brainstorming et génération d'hypothèses, recherche de médicaments.
  • Stratégie : Analyse avancée des diagrammes et graphiques, des tendances financières et du marché, prévisions.
  • Capacités visuelles: Traitement d'images et de textes pour l'analyse et la compréhension de diagrammes, de graphiques, de dessins techniques, de rapports et d'autres médias visuels.

AutoGluon : AutoGluon automatise les processus d'apprentissage automatique pour obtenir des prédictions très performantes dans vos applications. Cette version ne prend en charge que les données tabulaires, ce qui vous permet de former et de déployer des modèles d'apprentissage automatique et d'apprentissage profond très précis pour ces données. Un simple appel à fit() vous permet d'atteindre une grande précision dans les tâches d'apprentissage supervisé standard (classification et régression) sans la complexité du nettoyage des données, de l'extraction des caractéristiques, de l'optimisation des hyperparamètres et de la sélection des modèles.

Cas d'utilisation :

  • Prédiction de données tabulaires : Prédiction des valeurs d'une colonne cible sur la base des autres colonnes d'un ensemble de données tabulaires.

AutoML E2E : Le « Tabular Workflow for End-to-End AutoML » est un pipeline AutoML complet pour les tâches de classification et de régression, similaire à l'API AutoML, mais offre plus de contrôle sur les différentes étapes du processus. Le pipeline comprend l'ingénierie automatisée des caractéristiques, la recherche d'architecture et le réglage des hyperparamètres. Les modèles réussis passent par plusieurs étapes, y compris la validation croisée et la combinaison de modèles, afin d'optimiser la sélection finale du modèle. La solution AutoML a été testée avec succès lors d'un concours et a atteint la deuxième place.

Cas d'utilisation :

  • Marketing et analyse client : Estimation de la fréquence des commandes, probabilité de perte de clients, probabilité de conversion des leads, Customer Lifetime Value, attribution de campagne.
  • Utilisation des ressources : Probabilité de panne des appareils, estimation de l'offre et de la demande de chauffeurs, rotation du personnel, durée de vie des appareils.
  • Gestion des risques : Estimation du montant et de la probabilité des dommages, probabilité de fraude, probabilité de défaillance.
  • Classement: Placement optimal des produits et efficacité de la publicité.

2.3 Document :

Claude 3 Opus : voir la section suivante

Processeur OCR Document AI : L'OCR de documents reconnaît et extrait le texte de documents dans plus de 200 langues imprimées et 50 langues manuscrites. Il identifie les blocs de texte, les paragraphes, les lignes, les mots et, en option, les symboles dans les PDF et les images, et peut redresser automatiquement les documents pour améliorer la précision. De plus, il permet la reconnaissance des styles d'écriture, des indices de langue et l'évaluation de la qualité de l'image pour un traitement ultérieur optimisé.

Cas d'utilisation :

  • Numérisation de documents : Numériser le texte des documents, automatiser la saisie des données, améliorer et vérifier la qualité des données, prétraitement programmatique.
  • Traitement des factures et des réclamations : Extraction de données à partir des factures pour automatiser les processus de facturation et de réclamation et réduire les erreurs.
  • Recherche de documents et Q&R : Extraire des données de documents pour permettre des processus automatisés pour les questions et les fonctions de recherche.
  • Gestion des contrats: Extraire les données des contrats afin d'accroître leur accessibilité et leur capacité de recherche et de soutenir l'exécution correcte des contrats.
  • Archivage : Conversion des documents papier en formats électroniques afin d'améliorer l'accessibilité des documents.
  • Conformité : Extraire des données de documents pour garantir la conformité et effectuer une modération basée sur le contenu.

2.4 Multimodal :

Gemini 1.5 Pro : Gemini 1.5 Pro est un modèle de base polyvalent, particulièrement adapté aux tâches multimodales telles que la compréhension visuelle, la classification, la synthèse et la génération de contenu à partir d'images, d'audios et de vidéos. Il traite efficacement les entrées visuelles et textuelles telles que les photos, les documents, les infographies et les captures d'écran. Ce modèle fait partie de la famille de modèles Gemini, qui offre différentes tailles et capacités, y compris des versions spécialisées pour le texte et le contenu visuel.

Cas d'utilisation :

  • Recherche d'informations visuelles: Combinaison de connaissances externes avec des informations extraites d'images ou de vidéos pour répondre à des questions.
  • Reconnaissance d'objets : Identification détaillée d'objets dans des images et des vidéos.
  • Compréhension du contenu numérique : Extraction d'informations à partir de contenus visuels tels que des infographies et des pages web.
  • Production de contenu structurée : Génération de réponses basées sur des entrées multimodales dans des formats tels que HTML et JSON.
  • Description et sous-titrage : Création de descriptions pour les images et les vidéos dans différents
  • Déduction : Création d'informations novatrices sans mémorisation ni récupération.
  • Audio : Analyse des fichiers vocaux pour les résumés, les transcriptions et les questions-réponses.
  • Traitement multimodal : Traitement simultané de différents types de médias tels que la vidéo et l'audio.

2.5 Modèles de vision, de parole et vidéo 

Ceux-ci sont inclus dans le livre blanc.

3. Notebooks pour la science des données et l'apprentissage automatique

Les notebooks sont des environnements interactifs qui permettent d'intégrer du code, du texte et des visualisations dans un seul document. Ces environnements sont fréquemment utilisés dans les domaines de la science des données et de l'apprentissage automatique, notamment pour l'analyse exploratoire des données, le prototypage de modèles et la communication des résultats.

3.1 Colab Enterprise

Colab Enterprise est un environnement de notebook basé sur Google Cloud Platform, spécialement conçu pour les entreprises. Il offre une plateforme évolutive et sécurisée pour la collaboration sur des projets de science des données. Cet environnement prend en charge l'utilisation de GPU et de CPU performants pour répondre aux exigences de divers projets. Colab Enterprise propose également des mécanismes de sécurité pour le traitement et le stockage des données et permet la collaboration en temps réel de plusieurs utilisateurs sur un même projet. De plus, une intégration transparente avec d'autres services Google Cloud, tels que BigQuery et Cloud Storage, est possible.

3.2 Workbench

Workbench est une plateforme de notebooks open source basée sur Jupyter, qui peut être exploitée aussi bien localement sur un ordinateur que dans le cloud. La plateforme est hautement personnalisable et extensible grâce à une multitude de plugins et d'extensions. Elle offre un environnement de travail flexible, qui peut être adapté aux besoins et préférences spécifiques des data scientists. Comme Workbench est un projet open source, le code source est librement disponible et peut être utilisé et modifié gratuitement par les utilisateurs.

4. AI Studio

4.1 Aperçu

Vertex AI Studio est un environnement de développement web pour le Machine Learning (ML) sur Google Cloud Platform (GCP). Il permet aux équipes de scientifiques des données, d'ingénieurs ML et d'utilisateurs métiers de créer, d'entraîner et de déployer des modèles ML sans avoir à écrire de code.

Vertex AI Studio offre une série de fonctionnalités qui simplifient le développement de modèles de ML, notamment :

  • Une interface glisser-déposer pour créer des pipelines de ML
  • Modèles pré-entraînéspour différentes tâches telles que la classification d'images et le traitement du langage naturel
  • Outils pour entraîner et optimiser les modèles
  • Possibilités de mise à disposition de modèles en production

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer et déployer des modèles de ML rapidement et facilement. C'est également un bon choix pour les équipes qui ne sont pas encore familiarisées avec le ML, car il offre une interface conviviale et un ensemble de fonctions prédéfinies.

 

4.2 Multimodal

Vertex AI Studio prend en charge le développement de modèles ML multimodaux qui peuvent traiter des données provenant de différentes modalités telles que l'image, le texte et l'audio. Cela permet de développer des modèles ML plus puissants et plus polyvalents.

Vertex AI Studio offre un ensemble de fonctionnalités qui prennent en charge le développement de modèles multimodaux :

  • Outils de prétraitement des données pour fusionner et préparer les données provenant de différentes modalités
  • Modèles pour les tâches multimodales telles que l'appariement image-texte et la reconnaissance audio-vidéo
  • Outils pour évaluer la performance des modèles multimodaux

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles ML multimodaux. Il offre une série de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

 

4.3 Langue

Vertex AI Studio prend en charge le développement de modèles de langage qui peuvent traiter et générer du texte. Cela permet de développer des applications telles que les chatbots, la traduction automatique et la génération de texte. Vertex AI Studio offre un ensemble de fonctionnalités qui prennent en charge le développement de modèles de langage :

  • Modèles de langage pré-entraînéspour différentes langues
  • Outils pour l'entraînement de modèles vocaux sur des données personnalisées
  • Outils pour évaluer la performance des modèles vocaux

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles de langage. Il offre un ensemble de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

4.4 Vision

Vertex AI Studio prend en charge le développement de modèles de vision capables de traiter des images et des vidéos. Cela permet de développer des applications telles que la classification d'images, la reconnaissance d'objets et la segmentation d'images.

Vertex AI Studio offre un ensemble de fonctionnalités qui prennent en charge le développement de modèles de traitement d'image : 

  • Modèles de vision pré-entraînéspour différentes tâches telles que la classification d'images et la reconnaissance d'objets
  • Outils pour l'entraînement de modèles de vision artificielle sur des données personnalisées
  • Outils pour évaluer la performance des modèles de vision artificielle

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles de vision. Il offre un ensemble de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

 

4.5 Parole

Vertex AI Studio prend en charge le développement de modèles vocaux qui peuvent traiter et générer de la parole. Cela permet de développer des applications telles que la reconnaissance vocale, la synthèse vocale et la traduction vocale. Vertex AI Studio offre un ensemble de fonctionnalités pour prendre en charge le développement de modèles vocaux, notamment :

  • Modèles vocaux pré-entraînéspour différentes langues
  • Outils pour l'entraînement de modèles vocaux sur des données personnalisées
  • Outils pour évaluer la performance des modèles vocaux

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles vocaux. Il offre un ensemble de fonctionnalités qui facilitent le développement et le déploiement de ces modèles. Remarque : La reconnaissance vocale n'est pas encore entièrement prise en charge dans la version actuelle de Vertex AI Studio. Elle est cependant en cours de développement et sera bientôt disponible.

5. Gestion efficace des données pour les modèles de ML

5.1 Feature Store

Le Feature Store est un emplacement central pour la gestion des caractéristiques des modèles d'apprentissage automatique (ML). Il permet aux scientifiques des données et aux ingénieurs ML de stocker, de versionner et de réutiliser les caractéristiques en un seul endroit, ce qui simplifie le développement et le déploiement des modèles ML. Le Feature Store offre une série de fonctions qui simplifient la gestion des caractéristiques, notamment : Stockage des caractéristiques dans différents formats, y compris les données numériques, les données catégorielles et les données textuelles Versionnement des caractéristiques pour suivre les modifications apportées aux caractéristiques au fil du temps Réutilisation des caractéristiques dans plusieurs modèles ML Fonctions de recherche et de filtrage pour trouver les caractéristiques dont vous avez besoin Intégration avec Vertex AI pour simplifier le développement et le déploiement des modèles ML.

Le Feature Store est un bon choix pour les équipes qui utilisent plusieurs modèles ML et souhaitent gérer leurs caractéristiques de manière centralisée. Il peut contribuer à accélérer le développement et le déploiement des modèles ML et à améliorer la qualité des modèles ML.

  • Stockage des caractéristiques dans différents formats, y compris les données numériques, les données catégorielles et les données textuelles
  • Gestion des versions des caractéristiques, afin de suivre les modifications apportées aux caractéristiques au fil du temps.
  • Réutilisation des caractéristiques dans plusieurs modèles ML
  • Fonctions de recherche et de filtrage pour trouver les caractéristiques requises
  • Intégration avec Vertex AI pour simplifier le développement et le déploiement de modèles de ML

Le Feature Store est un bon choix pour les équipes qui utilisent plusieurs modèles ML et souhaitent gérer leurs caractéristiques de manière centralisée. Il peut contribuer à accélérer le développement et le déploiement des modèles ML et à améliorer la qualité des modèles ML.

Aperçu approfondi de Google Vertex AI

Le livre blanc offre des informations complètes sur la gestion et la mise à disposition efficaces des modèles de ML avec Google Vertex AI. Il aborde des thèmes centraux tels que le Model Registry et la recherche vectorielle et montre comment ces fonctions contribuent à l'optimisation des projets d'IA. Une lecture approfondie permet de mieux comprendre les possibilités et les avantages de Google Vertex AI dans la pratique.
Capture d'écran du livre blanc Vertex
Démarrez votre révolution IA avec Google Vertex AI

Découvrez tout le potentiel de Google Vertex AI pour votre entreprise. Nos experts sont à votre disposition pour vous aider à mettre en œuvre cette plateforme performante et à développer des solutions d'IA sur mesure pour vos défis spécifiques.

Prenez rendez-vous dès maintenant pour une consultation gratuite et découvrez comment Google Vertex AI peut vous aider à:

  • Optimiser vos flux de travail ML
  • Accélérer le développement de modèles d'IA
  • Prendre des décisions basées sur les données
  • Donner à votre entreprise un avantage concurrentiel

Façonnons ensemble l'avenir de votre entreprise avec l'IA. Contactez-nous dès aujourd'hui et faites le premier pas vers l'innovation basée sur l'IA!

Publié par :

Christopher Maier

Consultant Google Cloud Platform (Cloud Infrastructure | Cloud Solutions)

autor:IN

Cet article vous a-t-il plu ?

Cet article vous a-t-il été utile ?

Cliquez sur une étoile pour évaluer !

Évaluation moyenne 3.7 / 5.
Nombre d'évaluations: 7

Aucun vote pour l'instant ! Soyez la première personne à noter ce post !

INFORMATIONS

Plus d'informations

Wiki Visual Databricks et BDC

Qu'est-ce que Databricks ? Qu'est-ce que la BDC ? Le guide ultime pour une combinaison parfaite !

Dans le monde des affaires actuel, axé sur les données, la capacité d'analyser et d'utiliser efficacement de grands volumes de données est essentielle pour...
Des mains avec trois étoiles représentant les différentes technologies : SAP Analytics Cloud, SAP Business Data Cloud et SAP Datasphere.

Mise à jour des fonctionnalités de SAP Business Data Cloud, Analytics Cloud et Datasphere

Cet article wiki résume les principaux contenus du webinaire sur le thème :...
Association du Seigneur des Anneaux avec connexion à SQL et dbt en tant que combattant.

SQL et dbt : L'avenir de la transformation moderne des données

Cet article décrit le traitement des données dans les entreprises. Il traite à la fois...
9.1 Différences entre SAP Databricks et native Databricks

SAP Databricks vs. Native Databricks : la comparaison détaillée pour votre entreprise

Dans le monde des affaires actuel, axé sur les données, la capacité d'analyser et d'utiliser efficacement de grands volumes de données est essentielle pour...
Wiki Qu'est-ce que l'intelligence artificielle (IA) (2)

Qu'est-ce qu'une couche sémantique ? Définition, utilité et rôle dans les architectures de données modernes

Cet article wiki explique ce qu'est une couche sémantique et pourquoi...

Données SAP Datasphere dans Power BI : comment y accéder directement

Cet article est la première partie d'une série de blogs en deux parties sur l'intégration...