Scalytics Connect Release Notes

Scalytics Core

Apache Wayang ist das Herzstück unserer Produkte. Apache Wayang (Incubating) ist die einzige plattformübergreifende Open-Source-Datenverarbeitungs-Engine. Anwendungsentwickler spezifizieren Anwendungen mithilfe der API von Apache Wayang.

‍

Unique features:

• Der KI-basierte Optimierer wählt automatisch eine optimale Konfiguration von Klassendatenverarbeitungs-Frameworks wie Java Streams oder Apache Spark aus, auf denen Anwendungen ausgeführt werden.
• Blossom Core führt die Programmausführung durch. Es abstrahiert die verschiedenen plattformspezifischen APIs und koordiniert die plattformübergreifende Kommunikation.
• Anwendungen können auf mehreren Datenverarbeitungsplattformen ausgeführt werden, ohne den systemeigenen Code der zugrunde liegenden Plattformen zu ändern.

‍

Data sources:

• PostgresSQL
• Columnar Data Files (e.g., CSV, Iceberg, Parquet, ORC)
• SQlite (e.g. Mobiles, Embedded)
• Local file systems
• Distributed file systems (e.g., HDFS, S3)

‍

Data Processing Platforms:

• Java 8 Streams
• Apache Spark / DataBricks
• Postgres
• SQLite
• Apache Flink / Confluent, Decodable

‍

Programming APIs

• Java
• Scala
• Basic SQL

‍

Scalytics Studio

Blossom Studio ist ein Cloud-natives Low-Code-Add-on für Blossom Core zum Entwerfen von KI-gestütztem Datenmanagement und ETL-Pipelines.

Blossom Studio bietet eine grafische Benutzeroberfläche, mit der Sie auf sehr intuitive Weise eine Verbindung zu verschiedenen Datenquellen herstellen und diese lokal abfragen oder Daten aus mehreren Datenquellen zusammenführen können. Es unterstützt auch komplexe Datentransformationen, die auf Plattformen Ihrer Wahl verarbeitet werden können.

‍

Supported Data Sources:

• PostgresSQL
• Files on local or distributed filesystems (e.g., HDFS)

‍

Supported Platforms

• Java 8 Streams
• Apache Spark / DataBricks

‍

Supported Data Transformations

• Map
• Filter 
• Reduce
• GroupBy
• Join
• Union
• Cross