Fundamentos y Manejo de Kafka Conect

KAFK-010

Kafka Connect es un framework para la transmisión de datos entre Apache Kafka y otros sistemas de datos. Simplifica la integración de Kafka con bases de datos, sistemas de archivos, colas de mensajes, almacenes clave-valor y otros sistemas externos. Kafka Connect proporciona conectores pre-construidos que permiten a los usuarios importar datos a Kafka (conectores Source) y exportar datos desde Kafka (conectores Sink) sin necesidad de escribir código complejo de productores o consumidores.

Este aprendizaje se centra en comprender la arquitectura de Kafka Connect, configurar conectores, gestionar tareas y workers, y comprender las consideraciones para ejecutar Kafka Connect en producción.

Duración

8hrs

Nivel

Básico

Objetivos

l completar este aprendizaje, se espera que un profesional sea capaz de:

Comprender la arquitectura de Kafka Connect: Entender los conceptos de conectores, tareas, workers, convertidores y transformaciones.
Configurar conectores Source y Sink: Configurar conectores para importar y exportar datos entre Kafka y otros sistemas.
Gestionar tareas y workers de Kafka Connect: Monitorear el estado de las tareas y workers, y solucionar problemas.
Utilizar convertidores para serializar y deserializar datos: Configurar convertidores para manejar diferentes formatos de datos (como JSON, Avro, Protobuf).
Aplicar transformaciones para procesar datos en tránsito: Utilizar transformaciones para modificar los datos a medida que se mueven entre Kafka y otros sistemas.
Comprender las consideraciones para ejecutar Kafka Connect en producción: Configurar Kafka Connect para alta disponibilidad, escalabilidad y seguridad.
Utilizar la API REST de Kafka Connect: Interactuar con Kafka Connect mediante la API REST para gestionar conectores y tareas.

Prerrequisitos

Conocimientos básicos de Apache Kafka: Comprender los conceptos de topics, partitions, offsets, productores y consumidores.
Conocimientos básicos de Java (opcional, pero útil): Si bien no es estrictamente necesario para usar conectores, el conocimiento de Java es útil para desarrollar conectores personalizados.
Familiaridad con formatos de datos como JSON y Avro: Kafka Connect utiliza convertidores para serializar y deserializar datos en diferentes formatos.
Conocimientos básicos de la línea de comandos/terminal: La interacción con Kafka Connect se realiza principalmente a través de la línea de comandos y la API REST.