Model Garden offre sia modelli aperti che di partner con deployment autonomo che puoi eseguire il deployment e pubblicare su Vertex AI. Questi modelli sono diversi dalle offerte model-as-a-service (MaaS), che sono serverless e non richiedono il deployment manuale.
Quando esegui il deployment autonomo dei modelli, lo esegui in modo sicuro all'interno del tuo Google Cloud progetto e della tua rete VPC.
Modelli open con deployment autonomo
I modelli aperti forniscono funzionalità preaddestrate per varie attività di AI, inclusi i modelli Gemini che eccellono nell'elaborazione multimodale. Un modello open è disponibile, sei libero di pubblicare i suoi output e può essere utilizzato ovunque a condizione che tu rispetti i termini di licenza. Vertex AI offre sia modelli aperti (noti anche come pesi aperti) sia modelli open source.
Quando utilizzi un modello open con Vertex AI, usi Vertex AI per la tua infrastruttura. Puoi anche utilizzare i modelli aperti con altri prodotti di infrastruttura, come PyTorch o Jax.
Modelli aperti con pesi
Molti modelli aperti sono considerati modelli linguistici di grandi dimensioni (LLM) con pesi aperti. I modelli aperti forniscono maggiore trasparenza rispetto ai modelli con pesi non aperti. I pesi di un modello sono i valori numerici memorizzati nell'architettura della rete neurale del modello che rappresentano pattern e relazioni appresi dai dati su cui è stato addestrato il modello. Vengono rilasciati i parametri preaddestrati, o i pesi, dei modelli con pesi aperti. Puoi utilizzare un modello con pesi aperti per l'inferenza e l'ottimizzazione anche se non sono forniti dettagli come il set di dati originale, l'architettura del modello e il codice di addestramento.
Modelli open source
I modelli aperti sono diversi dai modelli di AI open source. Sebbene i modelli aperti spesso mostrino i pesi e la rappresentazione numerica di base dei pattern appresi, non forniscono necessariamente il codice sorgente completo o i dettagli sull'addestramento. Fornire i pesi offre un livello di trasparenza del modello di AI, che consente di comprendere le funzionalità del modello senza doverle creare autonomamente.
Modelli di partner con deployment autonomo
Model Garden ti aiuta ad acquistare e gestire le licenze dei modelli di partner che offrono modelli proprietari come opzione di deployment autonomo. Dopo aver acquistato l'accesso a un modello da Cloud Marketplace, puoi scegliere di eseguire il deployment su hardware on demand o utilizzare le prenotazioni Compute Engine e gli sconti per impegno di utilizzo per soddisfare i requisiti di budget. Ti vengono addebitati i costi per l'utilizzo del modello e per l'infrastruttura Vertex AI che utilizzi.
Per richiedere l'utilizzo di un modello partner di auto-deployment, individua il modello pertinente nella console Model Garden, fai clic su Contatta il team di vendita e compila il modulo, che avvia il contatto con un Google Cloud rappresentante Google Cloud
Per scoprire di più sul deployment e sull'utilizzo dei modelli di partner, consulta Eseguire il deployment di un modello di partner ed effettuare richieste di previsione.
Considerazioni
Tieni presenti le seguenti limitazioni quando utilizzi i modelli di partner con deployment autonomo:
- A differenza dei modelli aperti, non puoi esportare i pesi.
- Se hai configurato i Controlli di servizio VPC per il tuo progetto, non puoi caricare i modelli, il che ti impedisce di eseguire il deployment dei modelli dei partner.
- Per gli endpoint, è supportato solo il tipo di endpoint pubblico condiviso.
Scopri di più sui modelli di deployment autonomo in Vertex AI
- Per ulteriori informazioni su Model Garden, consulta la Panoramica di Model Garden.
- Per ulteriori informazioni sul deployment dei modelli, consulta Utilizzare i modelli in Model Garden.
- Utilizzare i modelli Open di Gemma
- Utilizzare modelli Open Llama
- Usare i modelli Open di Hugging Face