Accueil BigQuery Gestion et diffusion efficaces des modèles ML avec Google Vertex AI : du registre des modèles à la recherche de vecteurs

Gestion et diffusion efficaces des modèles ML avec Google Vertex AI : du registre des modèles à la recherche de vecteurs

Google Vertex AI permet de développer, de déployer et de gérer efficacement des modèles d'apprentissage automatique. Le wiki offre un guide pour une vue d'ensemble complète des fonctions centrales de la plateforme, y compris le Model Registry, les prédictions en ligne et par lots ainsi que la recherche vectorielle.

L'outil Google Vertex AI est essentiel pour optimiser les flux de travail ML, accélérer le traitement des données et améliorer la précision des résultats. La plateforme est particulièrement adaptée à la mise à l'échelle et à la gestion de projets d'IA dans différents secteurs de l'entreprise.

Table des matières

1. activer les API et les modèles prédéfinis : Optimiser l'utilisation de Google Vertex AI

 

1.1 Tableau de bord 

Vertex AI est une plateforme complète qui met à disposition un grand nombre d'API afin de permettre l'utilisation de l'intelligence artificielle dans différents cas d'application. Pour pouvoir utiliser Vertex AI dans son intégralité, les API suivantes doivent être activées :

1.
API Vertex AI :

API de base permettant d'accéder aux principales fonctionnalités de la plateforme.

2.
API de stockage en nuage :

Permet de stocker et de récupérer les données nécessaires aux modèles d'apprentissage automatique.

3.
API pour ordinateur portable :

Prend en charge la création et la gestion des ordinateurs portables Jupyter.

4.
L'API Dataflow :

Permet de traiter de grandes quantités de données en temps réel ou par lots.

5.
API du registre des artefacts :

Gère et stocke les artefacts de construction tels que les conteneurs.

6.
API Data Lineage :

Permet de suivre l'origine des données afin d'améliorer la qualité et la gouvernance des données.

7.
API de catalogue de données :

Aide à organiser et à gérer les métadonnées des ressources de données.

8.
API du moteur de calcul :

Permet de gérer et de faire évoluer les ressources de calcul.

9.
L'API Dataform :

Prend en charge la gestion des pipelines de données et des processus ETL.

10.
API Vision AI :

Spécialisé dans la reconnaissance d'images et les tâches visuelles connexes d'apprentissage automatique.

En outre, Vertex AI permet de surveiller des métriques spécifiques de services individuels afin de contrôler efficacement les performances et l'utilisation. Cela offre un aperçu précieux des aspects opérationnels de la plateforme et contribue à l'optimisation des applications.

 

Aperçu approfondi de Google Vertex AI

Ce livre blanc fournit des informations complètes sur la gestion et le déploiement efficaces de modèles ML avec Google Vertex AI. Il aborde des thèmes centraux tels que le Model Registry et la recherche vectorielle et montre comment ces fonctions contribuent à l'optimisation des projets d'IA. Une lecture approfondie permet de mieux comprendre les possibilités et les avantages de Google Vertex AI dans la pratique.
Capture d'écran du livre blanc Vertex

1.2 Jardin modèle 

Model Garden est une collection de modèles et d'outils d'apprentissage automatique prédéfinis, disponibles dans Google Cloud Vertex AI. Il permet aux développeurs et aux data scientists de créer, de tester et de déployer rapidement et facilement des modèles pour un grand nombre de cas d'utilisation. Au total, 153 modèles sont disponibles.

Les modèles sont répartis en trois catégories principales :

  • Des connaissances étendues : Modèles polyvalents entraînés sur de grandes quantités de données.
  • Adaptable : peut être optimisé et spécialisé pour différentes tâches.
  • Spécialisation : versions affinées de Foundation Models, adaptées à des tâches spécifiques.
  • Personnalisation avancée : nécessitent des données et du code supplémentaires pour une personnalisation précise et une amélioration des performances.
  • Ready to use:Modèles pré-conçus pour des tâches concrètes, prêts à l'emploi.
  • Réglage fin possible : certaines solutions permettent des adaptations avec des données propres pour une optimisation individuelle.

En outre, les modèles peuvent être divisés en d'autres catégories :

  • Modèles linguistiques
  • Modèles tabulaires
  • Modèles de documents
  • Modèles multimodaux
  • Modèles de vision
  • Modèles de discours
  • Modèle vidéo

 

Une autre façon de catégoriser les modèles est de les classer en fonction de leurs caractéristiques :

  • Vertex AI Studio (modèles prêts à l'emploi pouvant être testés dans la console, comme Gemini)
  • API available (modèles pouvant être appelés par une API)
  • Source ouverte
  • Support pour ordinateur portable
  • Support du pipeline
  • Déploiement en un clic

2. aperçu des principaux modèles et API dans Google Vertex AI : possibilités d'utilisation et cas d'application

Google Vertex AI comprend un large éventail de modèles et d'API couvrant différents cas d'utilisation de l'IA. Cette présentation offre un aperçu de l'utilisation d'outils tels que Gemini 1.0 Pro et AutoML Vision pour optimiser les flux de travail ML et faire évoluer efficacement les projets d'IA.

2.1 Langue :

Gemini 1.0 Pro : Gemini 1.0 Pro est le nom du grand modèle linguistique Gemini, qui comprend le langage et Il s'agit d'un modèle de base qui convient à une multitude de tâches de traitement du langage naturel, telles que les résumés, le suivi d'instructions, la génération de contenu, l'analyse de sentiments, l'extraction d'entités, la classification, etc. Parmi les contenus que Gemini 1.0 Pro peut générer, on trouve des résumés de documents, des réponses à des questions, des étiquettes pour la classification de contenus et bien plus encore.

Cas d'utilisation : 

  • Réponse à la question
  • Classification
  • Analyse de l'humeur
  • Extraction d'entités

Average Word Embedding Classifier : L'Average Word Embedding Classifier est un modèle de classification de texte simple et léger qui utilise des vecteurs de mots moyens pour créer une représentation de texte et l'évaluer via un réseau à deux couches avec activation RELU. Le modèle est conçu pour être utilisé sur des appareils et peut être utilisé avec MediaPipe Tasks TextClassifier sur différentes plates-formes telles qu'Android, iOS, le web et les ordinateurs de bureau.

Cas d'utilisation :

  • Texte Classification

Modération de texte : la modération de texte analyse un document et identifie les catégories nuisibles et sensibles qui s'appliquent au texte trouvé dans le document.

Cas d'utilisation :

  • Vérification des contenus potentiellement choquants qui pourraient entraîner une perception négative de la marque.
  • S'assurer que les contenus générés par les utilisateurs et les contenus éditoriaux sont à l'abri de la publicité.
  • Identifier les commentaires toxiques dans les forums et les messages de chat qui pourraient offenser et décourager les utilisateurs.

2.2 Tabulaire :

Claude 3 Opus : Claude 3 Opus d'Anthropic est le modèle d'IA le plus puissant de l'entreprise et fait preuve de capacités exceptionnelles dans les tâches complexes. Le modèle peut gérer des tâches ouvertes et des scénarios inconnus avec une aisance verbale impressionnante et une compréhension proche de celle de l'homme. Tous les modèles Claude 3 peuvent traiter des images, produire du texte et disposent d'une mémoire de 200K K

Cas d'utilisation :

  • Automatisation des tâches : planification et exécution d'actions complexes à l'aide d'API et de bases de données, P
  • Recherche et développement (R&D) : revue de travaux de recherche, génération d'idées et d'hypothèses, recherche de médicaments.
  • Stratégie : analyse avancée de diagrammes et de graphiques, tendances financières et de marché, prévisions.
  • Compétences visuelles : Traitement de l'image et du texte pour analyser et comprendre les diagrammes, les graphiques, les dessins techniques, les rapports et autres supports visuels.

AutoGluon : AutoGluon automatise les processus d'apprentissage automatique afin d'obtenir des performances prédictives élevées dans vos applications. Cependant, cette version ne prend en charge que les données tabulaires, ce qui vous permet de former et d'implémenter des modèles d'apprentissage automatique et d'apprentissage en profondeur très précis pour de telles données. Un simple appel à fit() vous permet d'obtenir une grande précision dans les tâches d'apprentissage supervisé standard (classification et régression), sans la complexité du nettoyage des données, de l'extraction des caractéristiques, de l'optimisation des hyperparamètres et de la sélection des modèles.

Cas d'utilisation :

  • Prédiction de données tabulaires : Prédiction des valeurs d'une colonne cible sur la base des autres colonnes d'un ensemble de données tabulaires.

AutoML E2E : le "Tabular Workflow for End-to-End AutoML" est un pipeline AutoML complet pour les tâches de classification et de régression, similaire à l'API AutoML, mais qui offre davantage de contrôle sur les différentes étapes du processus. Le pipeline comprend l'ingénierie des fonctionnalités automatisée, la recherche d'architecture et le réglage des hyperparamètres. Les modèles réussis passent par plusieurs étapes, y compris la validation croisée et la combinaison de modèles, afin d'optimiser la sélection finale du modèle. La solution AutoML a été testée avec succès lors d'un concours et a obtenu la deuxième place.

Cas d'utilisation :

  • Marketing et analyse des clients : estimation de la fréquence des commandes, probabilité d'attrition des clients, probabilité de conversion des leads, Customer Lifetime Value, attribution des campagnes.
  • Utilisation des ressources : probabilité de pannes d'appareils, estimation de l'offre et de la demande de chauffeurs, rotation du personnel, espérance de vie des appareils.
  • Gestion des risques : estimation du montant et de la probabilité des dommages, probabilité de fraude, probabilité de défaillance.
  • Classement : placement optimal des produits et efficacité publicitaire.

2.3 Document :

Claude 3 Opus : voir paragraphe suivant

Document AI OCR Processor : Document OCR reconnaît et extrait du texte de documents dans plus de 200 langues imprimées et 50 langues manuscrites. Il identifie les blocs de texte, les paragraphes, les lignes, les mots et, en option, les symboles dans les PDF et les images et peut redresser automatiquement les documents afin d'en améliorer la précision. Il permet en outre de reconnaître les styles d'écriture, les indices linguistiques et d'évaluer la qualité des images pour un traitement ultérieur optimisé.

Cas d'utilisation :

  • Numérisation de documents : numérisation de texte à partir de documents, automatisation de la saisie de données, amélioration et vérification de la qualité des données, prétraitement programmatique.
  • Traitement des factures et des réclamations : extraction des données des factures afin d'automatiser les processus de facturation et de réclamation et de réduire les erreurs.
  • Recherche de documents & Q&R : extraire les données des documents pour permettre des processus automatisés pour les questions et les fonctions de recherche.
  • Gestion des contrats : extraire les données des contrats afin d'améliorer leur accessibilité et leur capacité de recherche et de soutenir la bonne exécution des contrats.
  • Archivage : convertir les documents papier en formats électroniques afin d'améliorer leur accessibilité.
  • Conformité : extraire les données des documents pour garantir la conformité et effectuer une modération basée sur le contenu.

2.4 Multimodal :

Gemini 1.5 Pro : Le modèle Gemini 1.5 Pro est un modèle de base polyvalent, particulièrement adapté aux tâches multimodales telles que la compréhension visuelle, la classification, la synthèse et la génération de contenu à partir d'images, d'audio et de vidéo. Il traite efficacement les entrées visuelles et textuelles telles que les photos, les documents, les infographies et les captures d'écran. Le modèle fait partie de la famille de modèles Gemini, qui offre différentes tailles et capacités, y compris des versions spécialisées pour le texte et le contenu visuel.

Cas d'utilisation :

  • Recherche d'informations visuelles : combinaison de connaissances externes avec des informations extraites d'images ou de vidéos pour répondre à des questions.
  • Reconnaissance d'objets : identification détaillée d'objets dans les images et les vidéos.
  • Compréhension du contenu numérique : extraction d'informations à partir de contenus visuels tels que des infographies et des pages web.
  • Production de contenu structuré : génération de réponses basées sur des entrées multimodales dans des formats tels que HTML et JSON.
  • Description et sous-titrage : création de descriptions pour les images et les vidéos dans différentes langues.
  • Déduction de l'information : Un nouveau type de création d'informations sans mémorisation ni récupération.
  • Audio : analyse des fichiers vocaux pour les résumés, les transcriptions et les questions-réponses.
  • Traitement multimodal : traitement simultané de différents types de médias tels que la vidéo et l'audio.

2.5 Modèles Vision, Speech et Vidéo 

Ils sont inclus dans le livre blanc.

3. ordinateurs portables pour la science des données et l'apprentissage automatique

Les ordinateurs portables sont des environnements interactifs qui permettent d'intégrer du code, du texte et des visualisations dans un document. Ces environnements sont souvent utilisés dans les domaines de la science des données et de l'apprentissage automatique, notamment pour l'analyse exploratoire des données, le prototypage de modèles et la communication des résultats.

3.1 Colab Enterprise

Colab Enterprise est un environnement d'ordinateurs portables basé sur la plateforme Google Cloud, spécialement conçu pour les entreprises afin d'offrir une plateforme évolutive et sécurisée pour la collaboration sur des projets de science des données. Cet environnement prend en charge l'utilisation de GPU et de CPU puissants afin de répondre aux exigences de différents projets. Colab Enterprise offre également des mécanismes de sécurité pour le traitement et le stockage des données et permet la collaboration en temps réel de plusieurs utilisateurs sur un même projet. En outre, une intégration transparente avec d'autres services Google Cloud, tels que BigQuery et Cloud Storage, est possible.

3.2 Workbench

Workbench est une plate-forme portable open source basée sur Jupyter, qui peut être utilisée aussi bien localement sur un ordinateur que dans le cloud. La plateforme est hautement personnalisable et extensible grâce à un grand nombre de plugins et d'extensions. Elle offre un environnement de travail flexible qui peut être adapté aux besoins et aux préférences spécifiques des data scientists. Comme le Workbench est un projet open source, le code source est librement disponible et peut être utilisé et modifié gratuitement par les utilisateurs.

4. AI Studio

4.1 Aperçu général

Vertex AI Studio est un environnement de développement basé sur le web pour l'apprentissage automatique (ML) sur la Google Cloud Platform (GCP). Il permet aux équipes de scientifiques des données, d'ingénieurs ML et d'utilisateurs professionnels de créer, d'entraîner et de déployer des modèles ML sans avoir à écrire de code.

Vertex AI Studio offre un certain nombre de fonctionnalités qui facilitent le développement de modèles ML, notamment

  • Une interface de type "glisser-déposer" pourcréer des pipelines ML
  • Modèles pré-entraînés pourdifférentes tâches telles que la classification d'images et le traitement du langage naturel
  • Outils d'entraînement et d'optimisation des modèles
  • Possibilités de mise à disposition de modèles dans la production

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer et déployer des modèles ML rapidement et facilement. C'est également un bon choix pour les équipes qui ne sont pas encore familiarisées avec le ML, car il offre une interface conviviale et une série de fonctions prédéfinies.

 

4.2 Multimodal

Vertex AI Studio prend en charge le développement de modèles ML multimodaux capables de traiter des données provenant de différentes modalités telles que l'image, le texte et l'audio. Cela permet de développer des modèles ML plus puissants et plus polyvalents.

Vertex AI Studio offre une série de fonctions qui favorisent le développement de modèles multimodaux :

  • Outils de prétraitement des données pourcombiner et préparer les données provenant de différentes modalités.
  • Modèles pour des tâches multimodales telles quel'association image-texte et la reconnaissance audio-vidéo
  • Outils d'évaluation des performances des modèles multimodaux

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles ML multimodaux. Il offre une série de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

 

4.3 Langue

Vertex AI Studio prend en charge le développement de modèles linguistiques capables de traiter et de générer du texte. Cela permet de développer des applications telles que les chatbots, la traduction automatique et la génération de texte. Vertex AI Studio offre une série de fonctions qui favorisent le développement de modèles linguistiques :

  • Modèles linguistiques pré-entraînés pourdifférentes langues
  • Outils d'apprentissage des modèles linguistiques sur des données définies par l'utilisateur
  • Outils d'évaluation des performances des modèles linguistiques

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles linguistiques. Il offre un certain nombre de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

4.4 Vision

Vertex AI Studio prend en charge le développement de modèles de vision capables de traiter des images et des vidéos. Cela permet de développer des applications telles que la classification d'images, la reconnaissance d'objets et la segmentation d'images.

Vertex AI Studio offre une série de fonctions qui aident à développer des modèles de traitement d'images : 

  • Modèles de vision pré-entraînés pourdifférentes tâches comme la classification d'images et la reconnaissance d'objets
  • Outils d'entraînement des modèles de vision sur des données définies par l'utilisateur
  • Outils d'évaluation des performances des modèles de vision

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles de vision. Il offre un certain nombre de fonctionnalités qui facilitent le développement et le déploiement de ces modèles.

 

4.5 Discours

Vertex AI Studio prend en charge le développement de modèles de parole capables de traiter et de générer de la parole. Cela permet de développer des applications telles que la reconnaissance vocale, la synthèse vocale et la traduction vocale. Vertex AI Studio offre un certain nombre de fonctionnalités pour soutenir le développement de modèles de parole, notamment

  • Modèles de discours pré-entraînés pourdifférentes langues
  • Outils pour l'entraînement des modèles Speech sur des données définies par l'utilisateur
  • Outils d'évaluation des performances des modèles Speech

Vertex AI Studio est un bon choix pour les équipes qui souhaitent développer des modèles de discours. Il offre un certain nombre de fonctionnalités qui facilitent le développement et le déploiement de ces modèles. Remarque : Speech n'est pas encore entièrement pris en charge dans la version actuelle de Vertex AI Studio. Il est toutefois en cours de développement et sera bientôt disponible.

5. gestion efficace des données pour les modèles ML

5.1 Magasin de fonctionnalités

Le Feature Store est un emplacement central pour la gestion des caractéristiques des modèles d'apprentissage automatique (ML). Il permet aux scientifiques des données et aux ingénieurs ML de stocker, de versionner et de réutiliser les caractéristiques en un seul endroit, ce qui simplifie le développement et le déploiement des modèles ML. Le Feature Store offre une série de fonctions qui simplifient la gestion des caractéristiques, notamment : Stockage des caractéristiques dans différents formats, y compris les données numériques, les données catégorielles et les données textuelles Versionnement des caractéristiques pour suivre les modifications apportées aux caractéristiques au fil du temps Réutilisation des caractéristiques dans plusieurs modèles ML Fonctions de recherche et de filtrage pour trouver les caractéristiques dont vous avez besoin Intégration avec Vertex AI pour simplifier le développement et le déploiement des modèles ML.

Le Feature Store est un bon choix pour les équipes qui utilisent plusieurs modèles ML et souhaitent gérer leurs caractéristiques de manière centralisée. Il peut contribuer à accélérer le développement et le déploiement des modèles ML et à améliorer la qualité des modèles ML.

  • le stockage des caractéristiques dans différents formats, y compris les données numériques, les données catégorielles et les données textuelles
  • le versionnement des caractéristiques, pour suivre les modifications apportées aux caractéristiques au fil du temps
  • Réutilisation de caractéristiques dansplusieurs modèles ML
  • Fonctions de recherche et de filtrage pourtrouver les caractéristiques nécessaires
  • Intégration avec Vertex AI pour simplifier le développement et le déploiement de modèles ML

Le Feature Store est un bon choix pour les équipes qui utilisent plusieurs modèles ML et souhaitent gérer leurs caractéristiques de manière centralisée. Il peut contribuer à accélérer le développement et le déploiement des modèles ML et à améliorer la qualité des modèles ML.

Aperçu approfondi de Google Vertex AI

Ce livre blanc fournit des informations complètes sur la gestion et le déploiement efficaces de modèles ML avec Google Vertex AI. Il aborde des thèmes centraux tels que le Model Registry et la recherche vectorielle et montre comment ces fonctions contribuent à l'optimisation des projets d'IA. Une lecture approfondie permet de mieux comprendre les possibilités et les avantages de Google Vertex AI dans la pratique.
Capture d'écran du livre blanc Vertex
Lancez votre révolution IA avec Google Vertex AI

Découvrez tout le potentiel de Google Vertex AI pour votre entreprise. Nos experts sont prêts à vous aider à mettre en œuvre cette puissante plateforme et à développer des solutions d'IA sur mesure pour vos défis spécifiques.

Demandez dès maintenant une consultation gratuite et découvrez comment utiliser Google Vertex AI :

  • Optimiser vos flux de travail ML
  • Accélérer le développement de modèles d'IA
  • Prendre des décisions guidées par les données
  • donner à votre entreprise un avantage concurrentiel

Construisons ensemble l'avenir de votre entreprise grâce à l'IA. Contactez-nous dès aujourd'hui et faites le premier pas vers l'innovation basée sur l'IA !

Publié par :

Christopher Maier

Consultant Google Cloud Platform (Cloud Infrastructure | Cloud Solutions)

autor:IN

Cet article vous a-t-il plu ?

Cet article vous a-t-il été utile ?

Cliquez sur une étoile pour évaluer !

Note moyenne 3.7 / 5.
Nombre d'évaluations : 6

Aucun vote pour l'instant ! Soyez la première personne à noter ce post !

INFORMATIONS

Plus d'informations

Que peut faire le nouveau SAC Add-in for Microsoft PowerPoint (Composable Analytics) ?

Cet article wiki traite du nouveau module complémentaire SAP Analytics Cloud (SAC) pour Microsoft PowerPoint, qui...

De l'ordre à la valeur ajoutée : la gestion des métadonnées avec le Data Catalog

SAP Datasphere Data Catalog offre un répertoire central de données d'entreprise qui facilite l'accès et la gestion des données grâce à des métadonnées structurées....

Google Cloud et SAP : intégration réussie de SuccessFactors et Analytics Cloud

SAP Analytics Cloud (SAC) permet aux entreprises de disposer d'une...
Image de couverture Logiciels sur site et hors site Quelle est la différence ?

Logiciel sur site ou hors site : quelle est la différence ?

Alors que le terme on-premise existe, le terme off-premise n'existe pas en tant que tel. On parle soit d'outsourcing (utilisation de...

R vs. PYTHON

R et Python sont tous deux des langages de programmation de premier plan dans l'analyse de données...

Optimiser la gestion de projet avec le chat de documents assisté par l'IA et BigQuery

Dans de nombreux secteurs, l'efficacité et la précision sont essentielles. Avec l'IA et BigQuery, les données des projets peuvent être gérées facilement et les informations...
Wiki BigQuery Data Canvas

Analyses de données ad hoc et exploratoires avec BigQuery Data Canvas

BigQuery Data Canvas (BQDC) est un service de la Google Cloud Platform (GCP) soutenu par Gemini AI, qui permet de trouver,...