Skip to main content

Lösungsraum

Übersicht aller evaluierten Open-Source-Lösungen für die Pipeline Engine. Die Optionen sind nach Architektur-Schwerpunkt gruppiert.

Bewertung gegen die Anforderungen: siehe ruled_out.md (ausgeschlossene Optionen) und comparison.md (Vergleich der Finalisten).

Integrationsplattform (HTTP+MQTT+SQL+Transformation, K8s, On-Prem)​

  • Apache Camel K (sehr breite Konnektoren, Cron/REST/MQTT/SQL, K8s-native)
  • Redpanda Connect (Connector-Breite, Cron-trigger via generate, starke YAML + Bloblang; K8s Helm) -- Finalist
    • Bento (Fork nach Lizenzänderung bei Redpanda Connect, geringere Entwicklung)
  • Apache NiFi (Flow UI, Backpressure, Registry-Versionierung, MQTT/HTTP-Prozessoren) -- Finalist
  • Apache StreamPipes (IIoT/Low-code für Fachbereiche)
  • Vector (schlanker Ingress/Forwarder, Observability-/Event-Pipelines)

Workflow-/Job-Orchestrierung​

  • Argo Workflows (+ Argo Events)
  • Kestra
  • Apache Airflow
  • Prefect (Python-first)
  • Dagster (Data-Asset-first, starke Testbarkeit)

High-Performance-Streaming​

  • Apache Flink
  • Kafka Streams
  • Redpanda Connect als Enrichment/Adapter-Schicht (kein Ersatz für Flink, aber stark als stream-orientierte Integration)
  • ksqlDB (Confluent Community License)

MQTT-/IoT-zentrierte Architektur​

  • EMQX (Rules + Data Integration Bridges, BSL-Lizenz)
  • Apache StreamPipes (MQTT + HTTP ingest, UI-Pipelines, Helm)
  • SuperMQ + Propeller (Edge/WASM)
  • Node-RED (Edge-/PoC-Layer, wird vermutlich in Form eines Addons weiter unterstützt)