(openPR) Wenn es um die Analyse großer Datenmengen (Big Data) geht, kommt man an einem bestimmten Begriff nicht vorbei: Data Mining. Bei dieser statistischen Methode werden unzählige Daten mit Hilfe von Algorithmen zur Erkennung von Mustern, Zusammenhängen, Clustern o.ä. durchsucht. Für die Auswertung besonders großer Mengen messtechnischer Daten bietet die AMS eine Tool-Kette, die den gesamten Workflow von der Datenspeicherung (MaDaM) über die parallele Auswertung (jBEAM- Cluster) bis hin zur statistischen Auswertung der Analyseergebnisse (Big Test Data Mining) abdeckt.
Der ‚Big Test Data‘-Ansatz der AMS GmbH bietet eine Vielzahl an Technologien für verteilte Analysen aus einer Hand. Die 3 Hauptanwendungen holen dabei für den Ingenieur das Miximum an Information aus dessen Test- und Versuchsdaten:
1. jBEAM: Das Analyse- und Visualisierungstool, komplett Java-basierend, als Server- oder Desktopanwendung verfügbar, mit mehr als 18 Jahren Erfahrung und kontinuierlicher Weiterentwicklung.
2. MaDaM: Das Messdaten-Management-System (MDM), jetzt auch als Version 2 mit Elasticsearch-Indiziertechnologie und modernem Web-Interface erhältlich.
3. jBEAM-Cluster: Eine Cluster-Management-Software für parallele und verteilte Analysen unzähliger Testdateien - ein notwendiger und zeitsparender Prozess.
Im Bereich der Messdaten steigt das Datenvolumen immer weiter exponentiell an. Ohne ein Verwaltungstool wie MaDaM, ist ein intelligentes Post-Processing dieser Datenmengen nahezu unmöglich. Der anschließende Prozess des Data Mining beginnt bereits im zentralen MDM System. Der MaDaM-Importer wählt die Informationen zu jedem Messkanal aus und analysiert diese, um neben den herkömmlichen Metadaten auch statistische Informationen extrahieren zu können. Sowohl Daten relevanter Ingenieure und Testobjekte, als auch statistische Werte werden indiziert und für spätere Suchanfragen verfügbar gemacht.
Die neue Version 2 von MaDaM wurde, basierend auf 4 Jahren Erfahrung mit Version 1, komplett neu gestaltet. Elasticsearch ersetzt dabei die frühere Lucene-Technologie und bietet so dem Nutzer eine grenzenlose, horizontale Skalierbarkeit. Ein modernes, auf JavaScript basierendes Framework (ReactJS) versorgt das neue MaDaM mit einem schnellen Seiten-Rendering sowie kurzen Reaktionszeiten.
Der Data-Mining-Prozess, welcher auf individuellen Einzelmesswerten basiert, beginnt normalerweise mit der Auswahl eines Sets relevanter Tests. Relevant sind dabei alle Tests, die der Beantwortung der jeweiligen Anfragen dienlich sind. Die Anzahl solcher Tests kann in die Hunderte oder Hunderttausende gehen. Sämtliche Dateien sowie die Definition der Analyse, welche ausgeführt werden soll, werden dem jBEAM-Cluster als Arbeitsaufgabe geliefert. Die Dateien werden dann parallel und nahe ihres Speicherortes analysiert, während dabei jeder individuelle Wert eines jeden Kanals Berücksichtigung findet. Die statistischen Ergebnisse jeder Datei werden gesammelt und zurück an den Absender der Jobanfrage geschickt.
Der letzte Schritt erfolgt im Auswerten dieser Ergebnisse anhand von Data-Mining-Methoden: jBEAM verfügt über ein ganzes Set an Data-Mining-Algorithmen, die unter anderem die Bereiche Clustering, Pattern Recognition, Prediction und Reducing Dimension of Relation abdecken. Nach diesem Schritt ist es nun möglich, die berechneten Ergebnisse mit geeigneten Graphen in einem Bericht zu visualisieren. Jeder Zwischenschritt, bei dem der Anwender die Rahmenbedingungen des Data-Mining-Prozesses interaktiv optimieren kann, ist manuell kontrollierbar.
Diese 3 Schritte, die speziell für Messdaten optimiert wurden, bilden die Grundlage für die Test-Data- Mining-Lösung der AMS.
++++++++++++++++++++++++++++
Bitte nur mit Quellennachweis veröffentlichen. Belegexeplar erwünscht.
++++++++++++++++++++++++++++
