En este módulo, se detallan los requisitos de red especializados para cargas de trabajo de IA en comparación con las aplicaciones web tradicionales Se abordan las demandas específicas de ancho de banda y latencia de cada etapa de la canalización (desde la transferencia hasta la inferencia) y se analizan las arquitecturas de red "alineadas" de los tipos de máquinas con GPU A3 y A4 de Google Cloud diseñadas para maximizar el "procesamiento útil".

En este módulo, se detallan estrategias para trasladar de manera eficiente conjuntos de datos masivos a la nube. Se aborda el uso de la Red Multinube y Cloud Interconnect para establecer canalizaciones de alto ancho de banda y se describen las prácticas recomendadas de configuración (como habilitar las tramas jumbo [MTU]) para reducir la sobrecarga del protocolo y optimizar la capacidad de procesamiento.

En este módulo, se detalla el papel fundamental de las redes de baja latencia en el entrenamiento de modelos distribuidos. Se abordan la necesidad del acceso directo a memoria remota (RDMA) para sincronizar gradientes, los beneficios de la arquitectura de transferencia Titanium de Google para liberar recursos de la CPU y las opciones de topología necesarias para escalar clústeres sin cuellos de botella.

En este módulo, se detallan los desafíos de red específicos de la inferencia de IA generativa, como el tráfico inestable y las conexiones de larga duración. Se abordan la optimización del tiempo hasta el primer token usando GKE Inference Gateway y el enrutamiento según la "profundidad de cola", así como las prácticas recomendadas para la confiabilidad de la red y para Identity and Access Management (IAM).

Vínculos a archivos PDF de todos los módulos para estudiantes