¿Qué es Apache Flink?

Aunque se creó como un procesador de datos genérico, la compatibilidad nativa de Flink para streams ilimitados contribuyó a su popularidad como procesador de streams. Los casos de uso más comunes de Flink son muy similares a los de Kafka, aunque Flink y Kafka tienen propósitos ligeramente diferentes. Kafka generalmente proporciona el streaming de eventos, mientras que Flink se utiliza para procesar los datos de dicho stream. Veamos algunos de los casos en los que Flink y Kafka suelen usarse juntos:

• Procesamiento por lotes: la especialidad de Flink es procesar conjuntos de datos limitados, lo que hace que se le den muy bien las tareas tradicionales de procesamiento por lotes, en las que los datos son finitos y se procesan en fragmentos.

• Procesamiento en streaming: Flink está diseñado para gestionar streams de datos ilimitados. Gracias a ello, es posible procesar los datos de forma continua y en tiempo real, por lo que es perfecto para aplicaciones que requieren análisis y monitorización en tiempo real.

• Aplicaciones event-driven: las capacidades de Flink en el procesamiento de streams de eventos lo convierten en una herramienta muy valiosa para crear aplicaciones event-driven como sistemas de detección de fraudes y anomalías, sistemas de transacciones con tarjetas de crédito, monitorización de procesos del negocio, entre otras. 

• Actualización de aplicaciones con estado (puntos de guardado): el procesamiento con estado y los puntos de guardado de Flink facilitan la actualización y el mantenimiento de aplicaciones con estado. De este modo, se garantizan la coherencia y la continuidad, incluso durante los fallos.

• Aplicaciones de streaming: Flink es compatible con una amplia gama de aplicaciones de streaming, desde el simple procesamiento de datos en tiempo real hasta el procesamiento de eventos complejos y la detección de patrones.

• Análisis de datos (por lotes y streaming): la capacidad de Flink para gestionar datos tanto por lotes como en streaming lo hace idóneo para el análisis de datos. Esto incluye el análisis de datos en tiempo real y el procesamiento de datos históricos.

• Pipelines de datos/ETL: Flink se utiliza en la creación de pipelines de datos para los procesos de ETL, en los que los datos se extraen de varias fuentes, se transforman y se cargan en almacenes de datos u otros sistemas de almacenamiento para su posterior análisis.

Los retos de Apache Flink

Apache Flink tiene una arquitectura compleja. Aprender sobre Flink no es especialmente fácil y, a la hora de entenderlo, manejarlo y depurarlo, puede convertirse en todo un desafío incluso para los profesionales más experimentados. Los desarrolladores y operadores de Flink a menudo se enfrentan a complejidades en torno a las marcas de agua personalizadas, la serialización, la evolución de tipos, etc.

Flink plantea dificultades con la implementación y las operaciones de cluster (quizá incluso de forma más acentuada que en la mayoría de los sistemas distribuidos), como el ajuste del rendimiento para tener en cuenta la selección de hardware y las características del trabajo. Las dificultades más comunes tienen están relacionadas con el razonamiento sobre las causas fundamentales de los problemas de rendimiento, como la contrapresión, la lentitud de los trabajos y la restauración de puntos de guardado en estados excesivamente grandes. Otros problemas comunes incluyen la reparación de fallos en los puntos de control y la depuración de fallos en los trabajos, como los errores de falta de memoria. 

Las empresas que utilizan Flink suelen necesitar equipos de expertos dedicados a desarrollar trabajos de procesamiento en streaming y a mantener operativo el marco de procesamiento de streams. Por este motivo, Flink solo ha sido económicamente viable para grandes empresas con necesidades complejas y avanzadas de procesamiento en streaming.

Usos y comparativa de Flink, Kafka y Spark

Kafka Streams es una popular biblioteca cliente que se utiliza para el procesamiento de streams, especialmente cuando los datos de entrada y salida se almacenan en un cluster de Kafka. Como forma parte de Kafka, aprovecha sus ventajas de forma nativa.

ksqlDB combina la simplicidad de SQL con Kafka Streams, lo que ofrece un buen punto de partida para el procesamiento de streams y amplía su audiencia.

Los usuarios de Kafka y los clientes de Confluent suelen recurrir a Apache Flink para procesar streams por varios motivos. Por ejemplo, el procesamiento de streams complejos suele conllevar un gran estado intermedio para el que no siempre tiene sentido usar Apache Kafka, porque cuando crece lo suficiente, este estado pasa a ser una entidad propia, lo que afecta a los recursos y a la planificación necesarios para la gestión del cluster de Kafka. Además,en algunos casos, resulta necesario procesar los streams de varios clusters de Apache Kafka en diferentes lugares o gestionar streams de Apache Kafka con streams provenientes de fuera de Apache Kafka, entre otros casos especiales.

Como Flink es su propio sistema distribuido —y eso conlleva sus propias complejidades y matices operativos—, no ha quedado claro si las ventajas de trabajar con Apache Flink superan los retos que plantea o los costes que acarrea, especialmente si se tiene en cuenta que existen otras tecnologías de procesamiento de streams como Kafka Streams o Apache Spark.

Ventajas de Flink totalmente gestionado con Confluent

Ahora bien, la nube modifica los factores de ese cálculo y nos permite optar por una adopción completa de Apache Flink. Al ofrecer Apache Flink como un servicio en la nube totalmente gestionado, podemos llevar las ventajas que Confluent Cloud aporta a Kafka también a Flink. Las complejidades operativas y los matices que hacen que Apache Flink sea complejo y costoso (como la elección del tipo de instancia o del perfil de hardware, la configuración del nodo, la selección del back end del estado, la administración de instantáneas, los puntos de guardado, entre muchas otras) las gestiona Confluent por ti, lo que permite que los desarrolladores puedan centrarse exclusivamente en la lógica de su aplicación, en lugar de en gestionar los matices particulares de Flink.

Con ello, no solo se incorporan las prestaciones de Flink a Confluent Cloud, sino que también se modifica el contexto económico (y las decisiones financieras asociadas) que justifica el uso de Flink para el procesamiento de streams. Por tanto, Flink se puede utilizar en más casos de uso y en una fase más temprana del streaming de una empresa. Además, los desarrolladores pueden elegir las capas de procesamiento de streams que mejor se adapten a sus necesidades, lo que les permite disponer siempre de una plataforma adaptada a sus necesidades, incluso a medida que estas cambien o se vuelvan más complejas.

Ahora que Flink tiene una interfaz SQL sólida y madura, tiene sentido empezar por ahí, no solo para los usuarios finales que adoptan el procesamiento de streams, sino también para que Confluent adopte Apache Flink.

Más información Prueba Kafka y Flink gestionados