O Model Garden oferece modelos abertos e de parceiros com autoimplantação que podem ser implantados e exibidos na Vertex AI. Esses modelos são diferentes das ofertas de modelo como serviço (MaaS), que são sem servidor e não exigem implantação manual.
Quando você implanta modelos de forma autônoma, eles são implantados com segurança no seu projeto Google Cloud e na rede VPC.
Autoimplantar modelos abertos
Os modelos abertos oferecem recursos pré-treinados para várias tarefas de IA, incluindo modelos Gemini que se destacam no processamento multimodal. Um modelo aberto está disponível gratuitamente, você tem a liberdade de publicar as saídas dele e pode ser usado em qualquer lugar, desde que você respeite os termos de licenciamento. A Vertex AI oferece modelos abertos (também conhecidos como peso aberto) e de código aberto.
Ao usar um modelo aberto com a Vertex AI, você usa a Vertex AI na infraestrutura. Você também pode usar modelos abertos com outros produtos de infraestrutura, como PyTorch ou Jax.
Abrir modelos de peso
Muitos modelos abertos são considerados modelos de linguagem grande (LLMs) com peso aberto. Os modelos abertos fornecem mais transparência do que os modelos que não têm peso aberto. Os pesos de um modelo são os valores numéricos armazenados na arquitetura de rede neural do modelo que representam os padrões aprendidos e as relações dos dados com os quais um modelo é treinado. Os parâmetros pré-treinados, ou pesos, de modelos de peso abertos são lançados. É possível usar um modelo de peso aberto para inferência e ajuste, enquanto detalhes como o conjunto de dados original, a arquitetura do modelo e o código de treinamento não são fornecidos.
Modelos de código aberto
Os modelos abertos são diferentes dos modelos de IA de código aberto. Embora os modelos abertos geralmente exponham os pesos e a representação numérica principal dos padrões aprendidos, eles não fornecem necessariamente o código-fonte completo ou os detalhes do treinamento. O fornecimento de pesos oferece um nível de transparência do modelo de IA, permitindo que você entenda os recursos do modelo sem precisar criá-lo.
Modelos de parceiros para autoimplantação
O Model Garden ajuda a comprar e gerenciar licenças de modelos de parceiros que oferecem modelos proprietários como uma opção de autoimplantação. Depois de comprar o acesso a um modelo no Cloud Marketplace, você pode implantar em hardware sob demanda ou usar suas reservas do Compute Engine e descontos por uso comprometido para atender aos requisitos de orçamento. Você vai receber cobranças pelo uso do modelo e da infraestrutura da Vertex AI.
Para solicitar o uso de um modelo de parceiro de autoimplantação, encontre o modelo relevante no console do Model Garden, clique em Contatar vendas e preencha o formulário, que inicia o contato com um representante de vendas Google Cloud .
Para mais informações sobre como implantar e usar modelos de parceiros, consulte Implantar um modelo de parceiro e fazer solicitações de previsão.
Considerações
Considere as seguintes limitações ao usar modelos de autoimplantação de parceiros:
- Ao contrário dos modelos abertos, não é possível exportar pesos.
- Se o VPC Service Controls estiver configurado para seu projeto, não será possível fazer upload de modelos, o que impede a implantação de modelos de parceiros.
- Para endpoints, somente o tipo endpoint público compartilhado é aceito.
Saiba mais sobre os modelos autoimplantados na Vertex AI
- Para mais informações sobre o Model Garden, consulte Visão geral do Model Garden.
- Para mais informações sobre a implantação de modelos, consulte Usar modelos no Model Garden.
- Usar modelos abertos do Gemma
- Usar modelos abertos de Llama
- Usar modelos abertos do Hugging Face