Die von Databricks geschaffene Open-Source-Plattform für Machine Learning (ML), MLflow, wird der Linux Foundation beitreten. Seit seiner Einführung vor zwei Jahren hat MLflow ein beeindruckendes Engagement der Community von über 200 Mitwirkenden zu verzeichnen und wird monatlich mehr als 2 Millionen Mal heruntergeladen, mit einer vierfachen jährlichen Wachstumsrate bei den Downloads. Die Linux Foundation bietet eine anbieterneutrale Anlaufstelle mit einem Open-Governance-Modell, um das MLflow-Projekt noch weiter auszubauen und noch mehr Community-Beteiligung zu ermöglichen.
„Die stetige Zunahme des Community-Engagements zeigt das Interesse der Data Teams an der Machine-Learning-Plattform der Zukunft. Die Zustimmung zeigt die Notwendigkeit eines Open-Source-Ansatzes zur Standardisierung des Lebenszyklus von Machine Learning“, erklärt Michael Dolan, VP of Strategic Programs bei der Linux Foundation. „Unsere Erfahrung in der Zusammenarbeit mit den größten Open-Source-Projekten der Welt zeigt, dass ein Open-Governance-Modell durch eine breite Beteiligung der Industrie und Konsensbildung eine schnellere Innovation und Umsetzung ermöglicht.“
Databricks schuf MLflow als Antwort auf den komplizierten Prozess der ML-Modellentwicklung. Traditionell war der Prozess der Erstellung, Schulung, Feinabstimmung, Bereitstellung und Verwaltung von ML-Modellen für Data Scientists und Entwickler äußerst schwierig. Im Gegensatz zur traditionellen Softwareentwicklung, bei der es nur um Code-Versionen geht, müssen ML-Modelle auch Versionen von Datensätzen, Modellparametern und Algorithmen berücksichtigen. Dadurch entsteht ein exponentiell größerer Satz von Variablen zur Erfassung und Verwaltung.
Darüber hinaus ist ML ein sehr iterativer Prozess und stützt sich auf eine enge Zusammenarbeit zwischen Data- und Anwendungsteams. MLflow sorgt dafür, dass dieser Prozess gut zu bewältigen ist, indem es eine Plattform für die Verwaltung des gesamten Entwicklungszyklus von ML von der Datenvorbereitung bis zum Produktionseinsatz bietet, einschließlich der Verfolgung von Experimenten (Versuchsprojekten), der Verpackung von Code in reproduzierbare Abläufe und der gemeinsamen Nutzung und Zusammenarbeit von Modellen.
„MLflow ist zum Open-Source-Standard für Machine-Learning-Plattformen geworden, dank der Community der Mitwirkenden, die aus Hunderten von Ingenieuren aus über hundert Unternehmen besteht“, erklärt Matei Zaharia, der Schöpfer von Apache Spark und MLflow. „Machine Learning verändert alle wichtigen Branchen und beeinflusst Milliarden von Entscheidungen im Einzelhandel, im Finanzwesen und im Gesundheitswesen. Unser Schritt, MLflow in die Linux Foundation einzubringen, ist eine Einladung an die Machine Learning Community, die besten Praktiken für ML-Engineering in eine Standardplattform zu integrieren, die offen, kooperativ und durchgängig ist.“ (rhh)
