03.09.2014

Big Data für CAN

Mit CanView steht ein neues Visualisierungs- und Loggingtool für CAN-Daten zur Verfügung. Hauptunterscheidungsmerkmal zu vergleichbaren Tools ist die verzögerungsfreie Darstellung großer Datenmengen durch die Bereitstellung komprimierter Files direkt zur Laufzeit.

Autor: Ernst Richter, Geschäftsführer, Erimec Messgeräte


Bild 1: Bei dem Visualisierungs- und Loggingtool CanView stehen numerische, grafische und symbolische Ausgabefenster mit vielen Detailoptionen zur Verfügung.
Bild: Erimec Ernst Richter Messtechnik & Consulting

Vor etwa zehn Jahren waren Dateigrößen von einigen Megabytes die Regel, 50MB hingegen die Ausnahme. Heute werden Dateigrößen im GB-Bereich keineswegs als extrem empfunden. Allerdings dauert das Einlesen eines solchen GB-Files (je nach Speichermedium) vergleichsweise lange. Zoom- und andere Verarbeitungsoperationen mit großen Files waren daher in einer akzeptablen Zeit nicht realisierbar. Im Gegensatz zu den bisherigen Lösungen wird bei CanView ein komplett anderer Algorithmus verwendet, indem zur Laufzeit drei Files erzeugt werden:

  • • Hauptfile mit den originalen Messdaten
  • • Subfile1 mit Kompressionsfaktor 100
  • • Subfile2 mit Kompressionsfaktor 1.000

Die Subfiles speichern Wertepaare in einem zeitlichen Abstand entsprechend dem Kompressionsfaktor. Abgelegt werden die Minima und Maxima innerhalb des Kompressionszyklus zusammen mit den jeweiligen Zeitstempeln. Aufgrund der genannten Kompressionsfaktoren ist die Größe der Subfiles nicht wirklich relevant für die Betrachtung der Gesamtdatenmenge. Hat z.B. das Hauptfile eine Größe von 1GB, dann ergeben sich Dateigrößen von etwa 20MB für Subfile1 und 2MB für Subfile2. Die gegenüber einer ersten Erwartung verdoppelten Dateigröße der Subfiles resultiert aus der Tatsache, dass pro Intervall zwei Wertepaare (Minimum und Maximum) gespeichert werden.

Darstellung ohne Verzögerung

Der Algorithmus stellt sicher, dass die Darstellung der Messdaten auf dem Bildschirm auch bei Files im GB-Bereich ohne messbare Verzögerung erfolgt. Gleiches gilt für Zoom-Operationen. Die Software entscheidet auf Basis von Zoom-Startzeit und -Endzeit automatisch darüber, auf welches der drei Files zugegriffen wird. Somit ist gesichert, dass der Bildspeicher niemals mehr als ca. 2MB Daten aufnehmen und verarbeiten muss. Wichtig ist, dass aus der Verwendung von komprimierten Subfile-Daten keinerlei Auflösungsverlust resultiert. Die maximale Auflösung der Messdaten auf dem Bildschirm ist - unabhängig vom aktuellen Zoom - erreicht, sobald die Anzahl der dargestellten Wertepaare die horizontale Bildschirmauflösung in Pixeln erreicht bzw. diese überschreitet. Durch die Berechnung der Minima und Maxima aus den Originaldaten bleibt immer gesichert, dass entsprechende Details (typischerweise Peaks) bei der Darstellung nie verloren gehen, egal welches der drei Files gerade für die Ausgabe herangezogen wird. Um eine tiefere Analyse mit anderen Tools zu ermöglichen, entspricht das Dateiformat gängigen Standards (Famos, mdf, ASCII). Alle Messdatenfiles sind in einem Basisverzeichnis abgelegt, das z.B. auch auf einem externen Server stehen kann. Zur Aufzeichnung von CAN-Daten gehört eine editierbare Datenbasis mit der Möglichkeit, Kanäle manuell oder durch Import von Beschreibungsfiles (*.dbc) zu generieren. Zudem werden im Onlinebetrieb alle CAN-Botschaften zur Laufzeit interpretiert und in Ausgabefenstern dargestellt, wobei Onlinedarstellung und Datenaufzeichnung parallel verwendbar sind.

Anzeige