Hashsummen erstellen für Strings oder Dateien

  • Die API HashData() aus der ShlWapi arbeitet zuverlässing und sehr schnell. Zum Vergleich zweier Dateien reicht mir ein 32 Bit-Hashwert (also der Inhalt eines LongInts) völlig aus, womit ich dann sehr schnell und komfortabel vergleichen kann. Nehme ich eine 64 Bit-Fliesskomma, ist es noch sicherer.
    Die Funktion kann jedoch noch bis zu 1024 Bit Hash-Werten umgehen. Schon klasse, und gar nicht aufwendig.

    HashData(DateiImSpeicher#, GroesseDatei&, Addr(Hash&), 4)
    Print Hash& 'Hashwert als 32 Bit

    Testcode:

    :top:

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress, WoltLab & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • ShlWapi ? Ach so, ein augegliederter Hinweis aus dem Themenzweig "Verlaufsanzeige"...

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Irgendwas fehlt mir noch an Info... HashData() ist offenbar ein Funktion innerhalb der ShlWapi.DLL, oder? Muss ich die vorher laden, oder Windows.h einbinden oder wie?

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Zitat von p. specht;833536

    Irgendwas fehlt mir noch an Info... HashData() ist offenbar ein Funktion innerhalb der ShlWapi.DLL, oder? Muss ich die vorher laden, oder Windows.h einbinden oder wie?

    Peter, du kannst die Funktion ganz normal wie jede andere API benutzen. Am besten Dll laden und Funktion definieren oder importieren. Die Definition ist:

    Def HashData(4) !"shlwapi","HashData"

  • ich gehe mal davon aus, dass diese Vorgehensweise die richtige ist.

    Dann ist das nur für kleinere Dateien geeignet. Bei großen Dateien ist es speicherabhängig, ob es funktioniert. Denn es kommt dann die Meldung, dass der Speicher nicht ausreicht. Schon so um die 100 MB wird es schon etwas zu langsam. Oder mache ich was falsch ?

  • Die Vorgehensweise ist richtig.

    Ein Abbruch mangels Speicher hab ich jetzt nicht erzeugen können. Richtig ist aber, dass die Funktion nicht für Riesendateien geschaffen wurde. Die Datei muß sich ja innerhalb des Speichers befinden und wird nicht auf Platte verarbeitet.

    HashData() ist dazu gedacht, Hashsummen von Strings zu erzeugen, und dazu ist sie ideal. Strings jenseits der 100 MB-Marke sind eben selten. ;)

    Die Schnelligkeit ist in Ordnung, finde ich. Eine Summe aus einem 100 MB Speicher in 2 Sekunden ist doch gar nicht schlecht. Da dauert das Laden mit BlockRead länger. :D
    60 KB Daten werden in 16 ms verarbeitet. Damit kann man doch leben.

    Hab dein Beispiel mal für kleine XProfan-Versionen erweitert:

  • Ja du hast recht, ich habe das Blockread nicht raus genommen und das dauert auch, für eine Datei von 141 MB braucht die Berechnung 1158 ms. Die Speicherknappheit geht bei mir im Moment auf jeden Fall bei über 1 GB los. Ich habe einen Film mit 1,5 GB getestet, das war zu groß. Ich habe im Augenblick auch nur 2 GB Speicher, da bei mir ein Riegel kaputt ist.

  • Versucht mal die: bloody random - XProfan (siehe hashes.dll)

    Ich weiß aber nicht, ob die DLL in punkto Performanz und Dateigröße mithalten kann. :)

    XProfan-Semiprofi (XProfan X4a+XPIA+LemonEd)/PureBasic 6.00/RAD Studio 11 (Alexandria)/Perl 5.34.00/Python 3.10.0
    Ryzen 5800X/Gigabyte B550m DS3H/32GB RAM@3600MHz/Radeon HD7770 OC/Asus Xonar SE/46TB HDD+512GB Samsung 980 Pro+2TB Crucial SSD/28" Samsung 4k
    Synology DS920+ mit 42TB
    XBox Classic/360S/Series X/PS3 Super Slim 500GB/PS4 Pro (XBL-ID: jacdelad, PSN: jacdelad84)
    OnePlus 9 Pro (12GB/256GB)
    https://jacdelad.bplaced.net

  • Zitat von Bangkok;833565

    Dann ist das nur für kleinere Dateien geeignet.


    Erzeugungen von Hashes brauchen insgesammt lange. Bei Erzeugung von MD5 Hashes gibt es deshalb die Möglichkeit, die Datei aufzuteilen, Hab eine PCU gebastelt, die auch mit größeren Dateien zurechtkommen sollte. :)

  • Zitat

    Erzeugungen von Hashes brauchen insgesammt lange.

    Kann man so nicht allgemein sagen. Oben wurden ja schon Zeiten angesprochen. Teilweise dauert das Laden der Daten länger.

    Geht auch eigentlich nicht darum, die Summe zu errechnen. Sondern eher darum, damit weiter zu arbeiten und Vergleiche anzustellen. Ein Stringvergleich dauert wesentlich länger als ein Vergleich von zwei Zahlen. Auch der Platzverbrauch für die gehashten Daten wird ungleich geringer, wenn die Bitzahl nicht zu hoch berechnet ist. Eine 32 Bit-Long ist halt kürzer als die meisten Strings. Sodass das zu vergleichende Programm nicht mehr die Textdaten mitbringen muß, sondern nur nichtssagende Zahlen mit schleppt, was gleichzeitig noch Daten schützt. Mit einer Hashsumme kann nicht wieder auf den String geschlossen werden.

    Ob es immer MD5 sein muß, will ich auch bezweifeln. Bei einem festen Datensatz ist nur wichtig zu prüfen, ob Hashsummen doppelt generiert wurden. Wenn ja, sollte der Bitwert erhöht werden. Ich benutze aber Programme mit 50000 Hashsummen und mehr, die als 32 Bit gespeichert sind, ohne dass Zahlen doppelt vorkommen. Aber bei 4 Milliarden Möglichkeiten ist die Chance sehr gering, dass bei 50000 Strings Summen doppelt vorkommen. 800:1 oder so... :)

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!