CSV-Daten optimieren per Skript

  • Hallo ihr Lieben

    Ich habe ein Problem mit Auswertungsdaten im CSV-Format. Ich habe mehrere Files mit Daten eines Datenloggers, der jede Minute einen Wert aufgezeichnet hat. Nun ist diese Minute je nach Messwert zu viel da zB. 10mal der selbe Wert aufgezeichnet wurde. Ich möchte innerhalb dieser Files die Messwerte nun zusammenfassen. Im genaueren möchte ich ein kleines Skript, welches mir das macht da es etwa 50 Files sind mit mehreren 1000 Messwerten! Ich habe etwas Erfahrung in Java und Pearl (wobei Pearl auch wieder 4 Jahre her ist) und habe etwas Probleme wie ich das am besten angehen soll.

    Eine Datei sieht etwa so aus (Datum+Zeit in der Spalte 2 und der Messwert in Spalte 3):
    23.11.2009 10:47 3449,074
    23.11.2009 10:48 3449,074
    23.11.2009 10:49 3449,074
    23.11.2009 10:50 3446,18
    23.11.2009 10:51 3446,18
    23.11.2009 10:52 3446,18
    23.11.2009 10:53 3446,18
    23.11.2009 10:54 3446,18
    23.11.2009 10:56 3446,18
    23.11.2009 10:57 3446,18
    23.11.2009 10:58 3446,18
    23.11.2009 10:59 3446,18
    23.11.2009 11:00 3446,18
    23.11.2009 11:01 3444,734
    23.11.2009 11:02 3444,734
    23.11.2009 11:03 3444,734
    23.11.2009 11:04 3444,734
    23.11.2009 11:05 3444,734
    23.11.2009 11:06 3444,734
    23.11.2009 11:07 3444,734
    23.11.2009 11:08 3444,734
    23.11.2009 11:09 3444,734
    23.11.2009 11:10 3444,734

    Da diese Daten als Graphik (Diagramm) nachher dargestellt werden müssen, muss quasi die erste und die letzte Messung des gleichen Wertes behalten werden um die Ergebnisse nicht zu verfälschen. Als müssen per Automatismus der Wert um 10:48 gelöscht werden sowie 10:51-10:59 und 11:02-11:09 damit es am schluss so aussieht:
    23.11.2009 10:47 3449,074
    23.11.2009 10:49 3449,074
    23.11.2009 10:50 3446,18
    23.11.2009 11:00 3446,18
    23.11.2009 11:01 3444,734
    23.11.2009 11:10 3444,734

    Habt ihr eine Idee wie ich das am besten Umsetzen könnte? Bin um jede Hilfe dankbar!
    Grüsse
    Sie

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress, WoltLab & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Hallo!

    Dazu reicht ein ganz normales Programm. Die Datei schaue ich mir mit Excel an, wahrscheinlich liegt es daran, aber die Werte sollten mit (,) getrennt sein. Bin bis jetzt darauf gekommen, dass ich ein kleines Skript als Macro in Excel schrieben könnte und mit Hilfe von Arrays das Problem lösen könnte.

  • Zitat

    Die Datei schaue ich mir mit Excel an, wahrscheinlich liegt es daran, aber die Werte sollten mit (,) getrennt sein.

    Dann schau doch mal mit einen Texteditor nach, Notepad oder so. Wäre wichtig zu wissen.

    Zitat

    Bin bis jetzt darauf gekommen, dass ich ein kleines Skript als Macro in Excel schrieben könnte und mit Hilfe von Arrays das Problem lösen könnte.

    Ok. Wenn du nicht weiter weisst, kannst du ja jederzeit weiter nachfragen.

  • Die Werte sind mit Semikolon getrennt (;).
    Ich habe mal einen Ansatz für die Lösung meines Problems, aber ich bekomme beim Einlesen in ein Array immer Fehlermeldungen. Da ich mit VBA keine Erfahrung habe, kann ich mir vorstellen, dass einige Fehler drinn sind. Vielleicht habt ihr mit geschultem Blick das schneller gefunden wie ich? Sitz schon den ganzen Tag drann, da verliert man auch manchmal den Überblick... ;)
    Irgendwie will er mir die Werte nicht in das Array schreiben... :( check nicht wieso?

    Hier mein Programmcode, ist aber noch nicht alles fertig, deshalb sind ein paar Bereiche nur Kommentiert:

    Sub Optimierung()


    Dim IntZeile As Integer 'deklaration Zeilennummer
    Dim x As Integer 'deklaration Array-Counter
    x = 1

    Dim DListe() As Single 'leeres Array

    For i = 2 To 1000 Step 1 'Schleife für die abarbeitung der Zeilen

    x = x + 1 'schrittweise Erhöhung des Array-Counters
    IntZeile = i 'Zeilenwert setzen und durch For-schleife bis zum Tabellenande aufsummieren lassen

    If Range("C" & IntZeile + 1).Value = Range("C" & IntZeile).Value Then

    DListe(x - 1) = Value.Range("C" & IntZeile) 'wenn die Zahlen gleich sind in das Array schreiben beginnend bei Position 0

    Else

    If x > 2 Then 'wenn Anzahl Werte im Array grösser als 2, sollen die Werte von der zweiten Position bis zur zweitletzten (also x-2) in der Tabelle gelöscht werden

    For c = 2 To x - 1 Step 1 'Schleife die alle Zellinhalte ausser des ersten und letzten im Array verzeichneten Wertes löscht
    Range("C" & IntZeile - x).EntireRow.Clear 'löschen des Zellinhaltes
    x = x + 1
    Next c

    x = 0 'Zurücksetzen des Counters der Arraygrösse
    'neues Array erstellen mit dem nächsten zu prüfenden Wert

    Else

    'neues Array erstellen mit dem nächsten zu prüfenden Wert
    End If

    End If

    Next i

    End Sub

  • Ja klar, kann du machen :)
    hat sich ja erst im Verlauf der Lösung so entwickelt... danke!

  • Hallo Charlie Brown :D

    Sehe ich das so richtig :?:
    Spalte A = Datum
    Spalte B = Zeit
    Spalte C = Wert

    Datumsfrage
    Pro Tag 1 Datei :?:

    Liebe Gr0ße Tanto :p

  • Ich habe seit kurzen eine Fehlermeldung beim aufrufen von Word (Office 2007 - Win7):
    Kompilierungsfehler in verborgenem Modul: AZWizardModul
    Office 2007 wurde neu installiert, der Fehler bleibt.
    Noch einem Mausklick auf ok ist der Fehler weg und es funktioniert ganz normal.
    Es nervt halt !!
    Michael

    Einfach alles ausprobieren ist spannender als jedes PC-Spiel.

  • Hallo Community :D

    Hier mein Bastelwerk :oops:

    Ausgehend von 1 Tag in einer Datei ohne leere Zeilen

    Quelle
    Tabelle1 Spalten A B C
    A Beliebig
    B Zeit (Zeit formatiert(von 24 Stunden ausgehend))
    C Werte

    Ziel
    Tabelle2 Spalten A B C
    A Beliebig
    B Zeit (Zeit formatiert(von 24 Stunden ausgehend))
    C Werte

    Liebe Grüße euer Tanto :p

    Code
    Option Explicit
  • Hallo Tanto

    Sorry, war gerade geschäftlich im Ausland und hatte keine Möglichkeit für ins Internet.
    Also in der 1. Spalte ist auch ein Wert, der wird aber für meine Auswertung nicht benötigt. Für mich sind entscheidend die Spalten B und C! In der Spalte B ist das Datum UND die Zeit und in der Spalte C das benötigte Wert. Aber ich werde dein Skript gleich mal ausprobieren :)

  • Ich hab mal daran weiter probiert und habe immernoch keine funktionierende Lösung. :( Ich glaube der Fehler liegt beim Einlesen der Wert in mein Array, irgendetwas mache ich da falsch. Bei der Zeile:
    DListe(x) = Value.Range("C" & IntZeile)
    bekomme ich ausserdem die Fehlermeldung, dass ein Objekt erforderlich ist (versteh nicht warum und wo?). Vielleicht seht ihr den Fehler? Das ist mein 1. VBA-Script, bin schon etwas stolz darauf, :D aber es hat sicher einige Fehler drinn.

    Code:
    Sub Optimierung()

    Dim IntZeile As Integer 'deklaration Zeilennummer
    Dim Azeile As Long 'Anzahl Zeilen im File
    Dim x As Integer 'deklaration Array-Counter
    x = 1

    Worksheets("Tabelle1").Activate
    Dim DListe() As Single 'leeres Array
    Azeile = ActiveSheet.Cells(Rows.Count, 1).End(xlUp).Row

    For i = 2 To Azeile Step 1 'Schleife für die abarbeitung der Zeilen

    x = x + 1 'schrittweise Erhöhung des Array-Counters
    IntZeile = i 'Zeilenwert setzen und durch For-schleife bis zum Tabellenande aufsummieren lassen

    If Range("C" & IntZeile + 1).Value = Range("C" & IntZeile).Value Then

    x = x - 1
    DListe(x) = Value.Range("C" & IntZeile) 'wenn die Zahlen gleich sind in das Array schreiben beginnend bei Position 0

    Else

    If x > 2 Then 'wenn Anzahl Werte im Array grösser als 2, sollen die Werte von der zwieten Position bis zur zweitletzten (also x-2) in der Tabelle gelöscht werden

    For c = 2 To x - 1 Step 1 'Schleife die alle Zellinhalte ausser des ersten und letzten im Array verzeichneten Wertes löscht
    Range("C" & IntZeile - x).EntireRow.Clear 'löschen des Zellinhaltes
    x = x + 1
    Next c

    x = 0 'Zurücksetzen des Counters der Arraygrösse
    'Array neu befüllen mit dem nächsten zu prüfenden Wert
    DListe(0) = Value.Range("C" & IntZeile)

    Else
    x = 0 'Zurücksetzen des Counters der Arraygrösse
    'Array neu befüllen mit dem nächsten zu prüfenden Wert
    DListe(0) = Value.Range("C" & IntZeile)
    End If

    End If

    Next i

    IntZeile = 2

    For j = 1 To Azeile Step 1 'Schleife um die Zeilen in denen die Zeile in Spalte C leer ist (null) gelöscht wird

    If Range("C" & IntZeile) = Null Then
    Range("C" & IntZeile).EntireRow.Delete 'löscht Zeile
    Else
    IntZeile = IntZeile + 1
    End If

    Next j

    End Sub

    Tanto: Danke für dein Skript, aber ich verstehe nicht wirklich was da passiert und es läuft bei mir auch nicht, da es nicht auf meine Datei passt. (zB. Datum/Uhrzeit) Aber danke für deine Bemühungen!:)

  • Hallo Charlie Brown :D

    Dein Makro ist ein guter Ansatz,aber eben nur ein Ansatz ;)

    Wenn du mit Arrays arbeitest,lese die RangeDaten in einem Rutsch ein,ermittle die letzte genutzte Zeile wie Spalte und Redimensioniere danach das Array das als Variant Deklariert sein sollte.
    Weitere Rangeansprünge nehmen dir die Geschwindigkeitsvorteile wieder weg, die ja durch das Array eigentlich unnötig sind :)

    Aber nun wieder zu deinem Problem :kratz:

    Du könntest doch gleich beim Import die Daten in drei Spalten aufteilen :?:

    Wenn dies nicht gehen sollte,lade doch bitte eine BeispielDatei hoch :pc:

    Liebe Grüße Tanto :p

    P.S.
    .value gehört an das Ende :cool:

  • Hallo Tanto!:)

    Mh... dein Ansatz hört sich gut an. Ich werde mal versuchen mein Skript auf den Kopf zu stellen... ;) leider kann ich dir keine Datei hochladen, jedoch habe ich in meinem 1. Eintrag ein Beispiel des Aufbaus meiner .csv-Datei gepostet. Ich kann dir einfach einen Printscreen geben (1x Ansaicht in Excel und 1x Ansicht im Editor).
    In jeder Datei sind 1001 Zeilen mit 1000 Werten (Zeile 1 ist der Titel der Spalte). Entscheidend sind für mich das Datum/Zeit und der Wert in Spalte C.


    [Blockierte Grafik: http://s4.postimage.org/gtgo9.jpg]

    [Blockierte Grafik: http://s2.postimage.org/Rb_XJ.jpg]

  • Hallo Charlie Brown :D

    Nimm die Überschriftenzeile weg,dann funktioniert es 8O

    Die hatte ich doch glatt vergessen im Makro :sad:

    Soll ich das noch ändern :?:

    Liebe Grüße Tanto :p

  • Mh... bei mir funktioniert dein Script trotzdem nicht... :( habe die Bezeichnung des Tabellenblattes angepasst und die erste Zeile rausgelöscht, aber es kommt bei der Zeile:
    Index(Hour(ArrAC(Zaehler, 2))) = Index(Hour(ArrAC(Zaehler, 2))) + 1
    die Fehlermeldung: Index ausserhalb des gültigen Bereichs.

    Habe auch mein Script umgemodelt, aber beim Einlesen in das Array habe ich immernoch einen Fehler bei der Zeile:
    DListe(x) = Range("C" & IntZeile).Value
    Meldung: "Typen unverträglich"
    aber wenn ich es mit cells versuche geht es auch nicht... weis nicht an was es liegt und bin nur am rumprobieren...

    Code:
    Sub Optimierung()

    Dim IntZeile As Integer 'deklaration Zeilennummer
    Dim Azeile As Long 'Anzahl Zeilen im File
    Dim x As Integer 'deklaration Array-Counter
    x = 0

    Worksheets("Tabelle1").Activate
    Dim DListe() As Single 'leeres Array
    Azeile = ActiveSheet.Cells(Rows.Count, 1).End(xlUp).Row

    ReDim DListe(Azeile) As Single

    For i = 2 To Azeile Step 1 'Einlesen der Werte mittels For-Schleife in Array
    IntZeile = i 'Zeilenwert setzen und durch For-schleife bis zum Tabellenande aufsummieren lassen
    DListe(x) = Range("C" & IntZeile).Value
    x = x + 1
    Next i


    For k = 2 To Azeile Step 1 'Schleife für die abarbeitung der Zeilen
    IntZeile = k 'Zeilenwert setzen und durch For-schleife bis zum Tabellenande aufsummieren lassen

    If DListe(k) = DListe(k - 1) And DListe(k) = DListe(k + 1) Then
    Range("C" & IntZeile).EntireRow.Clear 'löschen des Zellinhaltes
    End If

    Next k

    IntZeile = 2

    For j = 1 To Azeile Step 1 'Schleife um die Zeilen in denen die Zeile in Spalte C leer ist (null) gelöscht wird

    If Range("C" & IntZeile) = Null Then
    Range("C" & IntZeile).EntireRow.Delete 'löscht Zeile
    Else
    IntZeile = IntZeile + 1
    End If
    Next j

    End Sub

    ps: Tanto, wieso eigentlich Charlie Brown?? ;)

  • Hallo Charlie Brown :D

    Hier mal eine BeispielDatei,wobei Tag/Zeit oder nur Zeit keine Rolle spielt ;)

    Sollte bei dir mit der Beispieldatei immer noch ein Fehler erscheinen,dann ist es ein Versionskonflikt :!:

    Das Makro wurde mit Excel 2000 erstellt :)

    Grundvorraussetzung ist, das spalte B auch als Datum/Zeit Formatiert ist

    Liebe Grüße Tanto :p

    File-Upload.net - Suchen.xls

  • Hallo Tanto

    Sehe ich das richtig, dass du zählst wie oft ein Wert vorkommt? Das ist leider nicht was ich brauche, sorry :( vielleicht hast du mein Problem am Anfang falsch verstanden, oder ich habe mich missverständlich ausgedrückt, aber aus der Datei mit den Werten:

    23.11.2009 10:47 3449,074
    23.11.2009 10:48 3449,074
    23.11.2009 10:49 3449,074
    23.11.2009 10:50 3446,18
    23.11.2009 10:51 3446,18
    23.11.2009 10:52 3446,18
    23.11.2009 10:53 3446,18
    23.11.2009 10:54 3446,18
    23.11.2009 10:56 3446,18
    23.11.2009 10:57 3446,18
    23.11.2009 10:58 3446,18
    23.11.2009 10:59 3446,18
    23.11.2009 11:00 3446,18
    23.11.2009 11:01 3444,734
    23.11.2009 11:02 3444,734
    23.11.2009 11:03 3444,734
    23.11.2009 11:04 3444,734
    23.11.2009 11:05 3444,734
    23.11.2009 11:06 3444,734
    23.11.2009 11:07 3444,734
    23.11.2009 11:08 3444,734
    23.11.2009 11:09 3444,734
    23.11.2009 11:10 3444,734

    Soll anschliessend das Ergebniss so aussehen:

    23.11.2009 10:47 3449,074
    23.11.2009 10:49 3449,074
    23.11.2009 10:50 3446,18
    23.11.2009 11:00 3446,18
    23.11.2009 11:01 3444,734
    23.11.2009 11:10 3444,734

    Es sollen lediglich die Zeilen gelöscht werden im Bereich zwischen dem 1. Auftretten des Wertes und dem letzten Mal.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!