Confluent y Databricks se alían para marcar el comienzo de una nueva era de la Inteligencia Artificial en tiempo real

Esta nueva alianza elimina los silos de datos para las empresas que trabajan con Apache Kafka y Delta Lake

Madrid, 13 de febrero de 2024.- Confluent, Inc. (NASDAQ:CFLT), el pionero en Data Streaming Platform, y Databricks, la empresa de datos e inteligencia artificial, han anunciado una importante expansión de su alianza para integrar la plataforma completa de data streaming de Confluent y la plataforma de inteligencia de datos de Databricks con el fin de proporcionar a las empresas datos en tiempo real para que puedan tomar de decisiones impulsadas por inteligencia artificial. Las nuevas integraciones entre Tableflow de Confluent y Databricks Unity Catalog gestionarán sin problemas los datos en los sistemas operativos y analíticos, permitiendo a las empresas una creación más eficiente de aplicaciones de inteligencia artificial.

Afrontando el reto que supone la gestión de los datos de IA Las empresas están creando rápidamente aplicaciones de IA que requieren datos fiables y en tiempo real para tomar mejores decisiones y ofrecer mejores experiencias a sus clientes. Sin embargo, solo el 22% de las empresas confían en que su infraestructura de IT actual sea capaz de soportar estas nuevas aplicaciones de IA. Uno de los principales obstáculos que aún deben superar es la brecha entre los sistemas operativos donde se generan los datos y los sistemas analíticos donde dichos datos se convierten en información que aporta valor. Dado que estas herramientas están en silos separados, se aplican diferentes equipos, herramientas y procesos entre ambos. El resultado es que los equipos no pueden combinar los datos en tiempo real con otros sistemas de manera significativa, haciendo imposible la innovación con IA en casos de uso avanzados.

“Para que las empresas maximicen el rendimiento de sus inversiones en IA, necesitan que sus datos, IA, analítica y governance estén todos en un mismo lugar”, afirmó Ali Ghodsi, cofundador y CEO de Databricks. “A medida que ayudamos a más organizaciones a construir inteligencia de datos, los datos empresariales fiables ocupan un lugar central. Nos entusiasma que Confluent haya adoptado Unity Catalog y Delta Lake como sus soluciones abiertas preferidas para almacenamiento y governance, y esperamos trabajar juntos para ofrecer valor a largo plazo a nuestros clientes.”

“Los datos en tiempo real son el combustible de la IA”, aseguró Jay Kreps, cofundador y CEO de Confluent. “Sin embargo, con demasiada frecuencia las empresas se ven frenadas por sistemas desconectados que no pueden proporcionar los datos que necesitan, en el formato que necesitan y en el momento en que los necesitan. Junto con Databricks, estamos garantizando que las empresas puedan aprovechar el poder de los datos en tiempo real para crear aplicaciones sofisticadas impulsadas por IA para sus casos de uso más críticos”.

Datos en tiempo real y listos para IA Para superar esta brecha, Confluent y Databricks anuncian nuevas integraciones que garantizan la interoperabilidad en tiempo real y permiten que los equipos de toda la empresa colaboren con éxito. La integración bidireccional entre Tableflow de Confluent y Delta Lake y Unity Catalog de Databricks se traduce en una solución de governance unificada y abierta para datos e IA que proporcionará datos consistentes y en tiempo real a través de todos los sistemas operativos y analíticos que sean detectables, seguros y fiables.

Delta Lake, una capa de almacenamiento de formato abierto desarrollada por Databricks, se diseñó originalmente para casos de uso de streaming con escritura rápida. Se ha convertido en el formato lakehouse más adoptado, con resultados comprobados a escala masiva: procesa más de 10 exabytes de datos por día. Ahora, Tableflow con Delta Lake hace que los datos operativos estén disponibles de inmediato para el rico ecosistema de Delta Lake. Los clientes de Confluent y Databricks podrán incorporar cualquier motor o herramienta de IA (como Apache Spark, Trino, Polars, DuckDB y Daft) a sus datos en Unity Catalog.

Además, las integraciones personalizadas entre Tableflow y Unity Catalog de Databricks garantizarán que los metadatos (un elemento fundamental para las aplicaciones de IA) se apliquen automáticamente a los datos intercambiados entre plataformas. Esto hace que los datos operativos sean detectables y procesables para los científicos de datos y analistas que trabajan en Databricks, al tiempo que garantiza que los datos analíticos sean igualmente accesibles y útiles para los desarrolladores de aplicaciones e ingenieros de streaming en Confluent. Asimismo, la suite Stream Governance de Confluent proporcionará governance y metadatos ascendentes para mejorar la gobernanza a detalle, el linaje de los streams end-to-end y la monitorización automatizada de la calidad de los datos en Unity Catalog.

“Aprovechar la proximidad a las fuentes de generación es un factor clave no solo en el sector energético, sino también en el campo de los datos”, afirma la Dra. Dora Simroth, responsable de ingeniería de datos e inteligencia artificial de E.ON Digital Technology. “Confluent y Databricks ya son tecnologías esenciales en nuestra stack de datos e inteligencia artificial. Estas integraciones permitirán a nuestros profesionales trabajar en una única fuente de datos bien definidos y oportunos para nuestros equipos operativo y analítico. A través de esta alianza, Confluent y Databricks nos abren un camino más rápido para crear soluciones digitales centradas en datos y modelos”.

Con estas nuevas funcionalidades, los datos operativos de Confluent se convierten en ciudadanos de primera clase en Databricks, de la misma forma en que cualquier procesador de datos de una empresa puede acceder fácilmente a los datos de Databricks. Los temas de data streaming que consumen las aplicaciones de IA y las tablas que utilizan los analistas de datos tendrán ahora vistas consistentes de los mismos datos en tiempo real, permitiendo una toma de decisiones más rápida e inteligente, impulsada por IA en toda la organización. Esta integración entre aplicaciones empresariales, analítica y governance es fundamental para la innovación en IA a escala.

Para saber más sobre la ampliación de esta alianza, puedes consultar el blogpost del CEO de Databricks, Ali Ghodsi, y el CEO de Confluent, Jay Kreps: www.confluent.io/blog/confluent-and-databricks/

Acerca de Confluent Confluent encabeza una nueva categoría de infraestructura de datos centrada en el data in motion. Con su oferta cloud-native, Confluent se convierte en la plataforma fundamental para el data in motion, facilitando las conexiones que permiten que los datos de múltiples fuentes fluyan en tiempo real sin interrupción por toda la empresa. Con Confluent, las empresas pueden cumplir las nuevas exigencias empresariales de ofrecer experiencias de cliente agradables y fluidas, así como lograr la transición de su back end a operaciones más sofisticadas, en tiempo real y software-driven. Para obtener más información, visita www.confluent.es.

*Confluent y las marcas asociadas son marcas comerciales o marcas registradas de Confluent, Inc. *

Apache® y Apache Kafka® son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos y/o en otros países. El uso de estas marcas no implica la aprobación por parte de la Apache Software Foundation. Todas las demás marcas comerciales pertenecen a sus respectivos propietarios.