Esta página foi traduzida pela API Cloud Translation.

Introdução às consultas contínuas

Neste documento, descreveremos as consultas contínuas do BigQuery.

As consultas contínuas do BigQuery são instruções SQL executadas continuamente. As consultas contínuas permitem analisar dados recebidos no BigQuery em tempo real. É possível inserir as linhas de saída produzidas por uma consulta contínua em uma tabela do BigQuery ou exportá-las para o Pub/Sub ou o Bigtable. As consultas contínuas podem processar dados que foram escritos em tabelas padrão do BigQuery usando um dos seguintes métodos:

Você pode usar consultas contínuas para realizar tarefas urgentes, como criar insights e agir imediatamente com base neles aplicando a inferência de machine learning (ML) em tempo real e a replicação de dados em outras plataformas. Dessa forma, você pode usar o BigQuery como um dispositivo de tratamento de dados orientado a eventos para a lógica de decisão do aplicativo.

O diagrama a seguir mostra fluxos de trabalho comuns de consulta contínua:

Diagrama que ilustra os fluxos de trabalho de consulta contínua comuns do BigQuery, incluindo ingestão, processamento e exportação de dados para destinos como Bigtable e Pub/Sub.

Casos de uso

Veja alguns casos de uso comuns em que convém usar consultas contínuas:

Serviços personalizados de interação com o cliente: use a IA generativa para criar mensagens personalizadas para cada interação com o cliente.
Detecção de anomalias: crie soluções que permitam realizar detecção de anomalias e ameaças em dados complexos em tempo real, para que você possa reagir a problemas mais rapidamente.
Pipelines personalizáveis baseados em eventos: use a integração de consulta contínua com o Pub/Sub para acionar aplicativos downstream com base nos dados recebidos.
Aprimoramento de dados e extração de entidades: use consultas contínuas para realizar aprimoramento e transformação de dados em tempo real usando funções SQL e modelos de ML.
ETL (extrair, transformar e carregar) reverso: execute ETL reverso em tempo real em outros sistemas de armazenamento mais adequados para veiculação de aplicativos de baixa latência. Por exemplo: analisar ou aprimorar dados de eventos gravados no BigQuery; e, em seguida, fazer streaming para o Bigtable para veiculação do aplicativo.

Operações suportadas

As seguintes operações são aceitas em consultas contínuas:

Execução de instruções INSERT para gravar dados a partir de uma consulta contínua em uma tabela do BigQuery.
Execução de instruções EXPORT DATA para publicar a saída de consultas contínuas em tópicos do Pub/Sub. Para mais informações, consulte Exportar dados para o Pub/Sub.

A partir de um tópico do Pub/Sub, é possível usar os dados com outros serviços, como análise de streaming usando o Dataflow, ou usando os dados em um fluxo de trabalho de integração de aplicativos.
Execução de instruções EXPORT DATA para exportar dados do BigQuery para tabelas Bigtable. Para mais informações, consulte Exportar dados para o Bigtable.
Chamar a seguinte função de IA generativa:
- ML.GENERATE_TEXT
Essa função exige que você tenha um modelo remoto do BigQuery ML em um modelo da Vertex AI.
Chamar as seguintes funções de IA:
- ML.UNDERSTAND_TEXT
- ML.TRANSLATE
Essas funções exigem que você tenha um modelo remoto de ML do BigQuery em uma API Cloud AI.
Normalizar dados numéricos usando a função ML.NORMALIZER.
Usar funções do GoogleSQL sem estado, por exemplo, funções de conversão. Em funções sem estado, cada linha é processada independentemente de outras linhas na tabela.
Usar a função APPENDS do histórico de alterações para iniciar o processamento de consulta contínua de um de um momento específico.

Autorização

Os tokens de acessoGoogle Cloud que são usados ao executar jobs de consulta contínua têm um time to live (TTL) de dois dias quando são gerados por uma conta de usuário. Portanto, esses jobs param de ser executados após dois dias. Os tokens de acesso gerados pelas contas de serviço podem ser executados por mais tempo, mas ainda precisam aderir ao tempo de execução máximo da consulta. Para mais informações, consulte Executar uma consulta contínua usando uma conta de serviço.

Locais

As consultas contínuas são compatíveis nos locais a seguir.

	Descrição da região	Nome da região	Detalhes
América
	Iowa	`us-central1`	Baixo CO₂
	Montreal	`northamerica-northeast1`	CO₂ baixo
	Norte da Virgínia	`us-east4`
	Oregon	`us-west1`	CO₂ baixo
	Carolina do Sul	`us-east1`
	EUA multirregião	`us`
Ásia-Pacífico
	Délhi	`asia-south2`
	Hong Kong	`asia-east2`
	Jacarta	`asia-southeast2`
	Mumbai	`asia-south1`
	Seul	`asia-northeast3`
	Singapura	`asia-southeast1`
	Sydney	`australia-southeast1`
	Taiwan	`asia-east1`
	Tóquio	`asia-northeast1`
Europa
	Bélgica	`europe-west1`	Baixo CO₂
	UE multirregião	`eu`
	Frankfurt	`europe-west3`	Baixo CO₂
	Londres	`europe-west2`	Baixo CO₂
	Países Baixos	`europe-west4`	Baixo CO₂

Limitações

As consultas contínuas estão sujeitas às seguintes limitações:

As consultas contínuas do BigQuery não mantêm o estado de dados ingeridos. Operações comuns que dependem do estado, como JOIN, função de agregação ou função de janela, não são aceitas.
Não é possível usar os seguintes recursos de SQL em uma consulta contínua:
- operações JOIN;
- Funções de agregação
- Funções de agregação aproximada
- As seguintes cláusulas de consulta:
- Os seguintes operadores de consulta:
- Operadores de conjunto de consulta
- A instrução SELECT DISTINCT
- As subconsultas EXISTS ou NOT EXISTS
- CTEs recursivos
- Funções definidas pelo usuário
- Funções de janela
- funções do BigQuery ML que não sejam as listadas em Operações compatíveis
- Instruções de linguagem de definição de dados (DDL, na sigla em inglês)
- Instruções de linguagem de manipulação de dados (DML, na sigla em inglês) exceto INSERT.
- Instruções de linguagem de controle de dados (DCL, na sigla em inglês)
- instruções EXPORT DATA que não segmentam o Bigtable ou Pub/Sub
- Linguagem processual
- Instruções sobre depuração
As consultas contínuas não oferecem suporte ao processamento de dados de inserção e atualização de dados da captura de dados alterados (CDC).
As consultas contínuas não aceitam tabelas curingas como fonte de dados.
As consultas contínuas não aceitam tabelas externas como fonte de dados.
As consultas contínuas não aceitam visualizações INFORMATION_SCHEMA como fonte de dados.
As consultas contínuas não são compatíveis com tabelas do BigLake para Apache Iceberg no BigQuery.
As consultas contínuas não aceitam estes recursos de segurança do BigQuery:
- Segurança no nível da coluna e da linha
Ao exportar dados para o Bigtable, só é possível segmentar instâncias do Bigtable que se enquadram no mesmo limite regional do BigQuery que contém a tabela que você está consultando.Google Cloud Para mais informações, consulte Considerações de localização. Esta restrição não se aplica à exportação de dados para o Pub/Sub porque o Pub/Sub é um recurso global.
Não é possível executar uma consulta contínua em uma tela de dados.
Não é possível modificar o SQL usado em uma consulta contínua enquanto o job da consulta contínua está em execução. Para mais informações, consulte Modificar o SQL de uma consulta contínua.
Se um job de consulta contínua ficar para trás no processamento de dados de entrada e tiver um atraso de marca d'água de saída de mais de 48 horas, ele vai falhar. É possível executar a consulta novamente e usar a função APPENDS do histórico de alterações para retomar o processamento a partir do momento em que você interrompeu o job de consulta contínua anterior. Para mais informações, consulte Iniciar uma consulta contínua de um momento específico.
Uma consulta contínua configurada com uma conta de usuário pode ser executada por até dois dias. Uma consulta contínua configurada com uma conta de serviço pode ser executada por até 150 dias. Quando o tempo de execução máximo da consulta é alcançado, ela falha e para de processar os dados recebidos.
Embora as consultas contínuas sejam criadas usando recursos de confiabilidade do BigQuery, podem ocorrer problemas temporários. Os problemas podem levar a um processamento automático da consulta contínua, o que pode resultar em dados duplicados na saída da consulta contínua. Projete seus sistemas downstream para processar esses cenários.

Limitações de reserva

Você precisa criar reservas da edição Enterprise ou da edição Enterprise Plus para executar consultas contínuas. As consultas contínuas não aceitam o modelo de faturamento de computação on demand.
Quando você cria uma atribuição de reserva CONTINUOUS, a reserva associada é limitada a, no máximo, 500 slots. Para solicitar um aumento desse limite, entre em contato com [email protected].
Uma atribuição de reserva de consulta contínua não compartilha slots inativos, mesmo se a reserva estiver configurado para isso.
Não é possível criar uma atribuição de reserva que usa um tipo de trabalho diferente na mesma reserva como uma atribuição de reserva de consulta contínua.
Não é possível configurar a simultaneidade de consultas contínuas. O BigQuery determina automaticamente o número de consultas contínuas que podem ser executadas simultaneamente, com base nas atribuições de reserva disponíveis que usam o tipo de job CONTINUOUS.
Ao executar várias consultas contínuas usando a mesma reserva, jobs individuais podem não dividir os recursos disponíveis de maneira justa, já que são definidos pela imparcialidade do BigQuery.

Escalonamento automático de slots

As consultas contínuas podem usar o escalonamento automático de slots para escalonar de forma dinâmica a capacidade alocada e acomodar sua carga de trabalho. À medida que a carga de trabalho de consultas contínuas aumenta ou diminui, o BigQuery ajusta dinamicamente os slots.

Depois que uma consulta contínua começa a ser executada, ela detecta ativamente os dados recebidos, o que consome recursos de slot. Embora uma reserva com uma consulta contínua em execução não seja reduzir escala vertical para zero slots, uma consulta contínua inativa que está principalmente detectando dados recebidos consome uma quantidade mínima de slots, normalmente cerca de um slot.

Preços

As consultas contínuas usam Preços de computação de capacidade do BigQuery, que são medidos em slots. Para executar consultas contínuas, é preciso ter uma reserva que use a edição Enterprise ou Enterprise Plus e uma atribuição de reserva que usa o tipo de job CONTINUOUS.

O uso de outros recursos do BigQuery, como ingestão de dados e armazenamento, é cobrado conforme as taxas mostradas nos Preços do BigQuery.

O uso de outros serviços que recebem resultados de consulta contínua ou que são chamados durante o processamento de consultas é cobrado de acordo com as taxas publicadas para esses serviços. Para os preços de outros serviços Google Cloud usados pelas consultas contínuas, consulte os seguintes tópicos:

A seguir

Tente criar uma consulta contínua.