Embora o BigQuery tenha começado apenas como um data warehouse, ao longo do tempo ele evoluiu para fornecer recursos que dão suporte ao ciclo de vida de dados para IA. Nesta seção do curso, vamos ver os recursos do BigQuery para criar modelos de machine learning e as fases de um projeto de ML, além de mostrar os principais comandos de ML em SQL. Se você já trabalhou com modelos de ML, sabe que a criação e o treinamento deles pode levar bastante tempo. Em primeiro lugar, é preciso exportar dados do repositório para um IDE, ambiente de desenvolvimento integrado, como o Jupyter Notebook ou o Google Colab. Depois, transformar os dados e seguir as etapas de engenharia de atributos antes de usar essas informações em um modelo de treinamento. Por fim, você precisa criar o modelo no TensorFlow, ou em uma biblioteca similar, e treinar esse modelo localmente em um computador ou em uma máquina virtual. Para melhorar o desempenho dele, é necessário procurar mais dados e criar novos atributos. Esse processo precisa ser repetido, mas ele é tão demorado que, provavelmente, você vai parar depois de algumas iterações. Além disso, já falamos sobre o TensorFlow e a engenharia de atributos. No passado, se você não conhecesse bem essas tecnologias, os cientistas de dados da sua equipe ficavam responsáveis pelo ML, e você não podia acessar os sistemas. Agora é possÃvel criar e executar modelos de machine learning nos conjuntos de dados estruturados no BigQuery em apenas alguns minutos usando consultas SQL. Há duas etapas necessárias para começar. A primeira é criar um modelo com uma instrução SQL. Podemos usar o conjunto de dados de bicicletas compartilhadas como exemplo. A segunda etapa é gravar uma consulta de previsão de SQL e invocar "ML.PREDICT". E é isso. Agora você tem um modelo e pode visualizar os resultados. Outras etapas podem incluir atividades como avaliar o modelo, mas se você tem noções básicas sobre SQL, agora é possÃvel implementar ML. Isso é bem legal. O BigQuery ML foi feito para ser simples, como criar um modelo em duas etapas. Essa simplicidade se estende à definição dos hiperparâmetros de machine learning, que permitem ajustar o modelo para ter o melhor resultado de treinamento. Os hiperparâmetros são as configurações aplicadas a um modelo antes do inÃcio do treinamento, como a taxa de aprendizado. Com o BigQuery ML, é possÃvel controlar os hiperparâmetros de maneira manual ou deixar que o BigQuery cuide deles, começando com uma configuração padrão de hiperparâmetros e, em seguida, ajustando automaticamente. Ao usar um conjunto de dados estruturados no BigQuery ML, você precisa escolher o tipo de modelo adequado. A escolha do tipo do modelo de ML depende da meta do seu negócio e dos conjuntos de dados. O BigQuery oferece suporte a modelos supervisionados e não supervisionados. Os modelos supervisionados são baseados em tarefas e identificam uma meta. Por outro lado, os modelos não supervisionados são baseados em dados e identificam um padrão. Em um modelo supervisionado, se a meta é classificar os dados, por exemplo, se um e-mail é spam, use a regressão logÃstica. Se a meta é prever um número, como as vendas de calçados nos próximos três meses, use a regressão linear. Em um modelo não supervisionado, se a meta é identificar padrões ou clusters e definir o melhor jeito de agrupar essas informações, como separar fotos de flores aleatórias em categorias, use a análise do cluster. Depois de saber mais sobre o problema, é hora de escolher o modelo ideal. As categorias incluem modelos de classificação e regressão. Há também outros modelos para escolher, incluindo MLOps. A regressão logÃstica é um exemplo de modelo de classificação, e a regressão linear é um exemplo de modelo de regressão. Recomendamos que você comece com essas opções e use os resultados para fazer comparações com modelos mais complexos, como DNN, ou redes neurais profundas, que, para treinar e implantar, pode levar mais tempo e usar mais recursos de computação. Além de oferecer tipos diferentes de modelos de machine learning, o BigQuery ML é compatÃvel com recursos para implantar, monitorar e gerenciar a produção de ML, chamada de MLOps, que é a abreviação de "operações de machine learning". As opções incluem importar modelos do TensorFlow para fazer previsões em lote, exportar modelos do BigQuery ML para fazer previsões on-line e ajustar hiperparâmetros usando o Cloud AI Vizier. Mais adiante neste curso, vamos conhecer melhor as MLOps.
