Überflüssige Algorithmen (Programmierabfall)

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress, WoltLab & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Unscharfe String-Vergleiche
    =====================

    Es ist nicht ganz einfach, Eingaben mit Tippfehlern vom Computer trotzdem erkennen zu lassen. Der Levenshtein-Algorithmus erlaubt zumindest, einfache Preller bzw. Auslassungen zu erkennen. Etwas besser ist bei Datenbanken die SOUNDEX-Funktion, die allerdings meist für Englisch optimiert ist.

    Das Gelbe vom Ei ist der Original-Levenshtein jedenfalls noch nicht. Es fehlt z.B. eine Änderung der Kostenbewertung (Variable cost&) in Abhängigkeit von möglichen Hörfehlern (y,ü,i,j ; sh sch ; t d ; p b; k g; h _ ), und vieles anderes mehr. Hier mal eine Basis zum rumspielen:

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Hier meine Profan-Umsetzung der Kölner Phonetik zum experimentieren. Nach dem Download die .prc-Datei einfach auf Prfrun32.exe oder eine X-beliebige mit XProfan11 erstellte .exe Datei ziehen.

    Zitat

    Die Benutzung erfolgt auf eigene Gefahr - unter anderem, weil das Zusammenwirken der Regeln nicht 100% genau beschrieben ist, das Programm nicht gut ausgetestet ist und eventuell Rechte Dritter zur verwendeten Implementation bestehen! Trotzdem viel Spass!

    Um Feedback wird gebeten!
    Gruß

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Und wie benutze ich die PRC? Welche Funktionen hat sie???

    XProfan-Semiprofi (XProfan X4a+XPIA+LemonEd)/PureBasic 6.00/RAD Studio 11 (Alexandria)/Perl 5.34.00/Python 3.10.0
    Ryzen 5800X/Gigabyte B550m DS3H/32GB RAM@3600MHz/Radeon HD7770 OC/Asus Xonar SE/46TB HDD+512GB Samsung 980 Pro+2TB Crucial SSD/28" Samsung 4k
    Synology DS920+ mit 42TB
    XBox Classic/360S/Series X/PS3 Super Slim 500GB/PS4 Pro (XBL-ID: jacdelad, PSN: jacdelad84)
    OnePlus 9 Pro (12GB/256GB)
    https://jacdelad.bplaced.net

  • Ganz normal, wie alle .prc-Dateien: Nach dem Download die .prc-Datei einfach auf die Prfrun32.exe (oder eine beliebige andere XProfan11-compilierte exe-Anwendung) ziehen. Oder z.B. ein Link auf die Prfrun32.exe im XProfan-Verzeichnis setzen und in dessen "Eigenschaften" den Pfad und Dateinamen (coelnphon.prc) als Parameter mitgeben. Oder alle .prc-Dateiendungen mit PrfRun.exe als Aufrufprogramm verknüpfen. Oder die PrfRun.exe starten, und wenn sie fragt, Pfad und .prc-Datei angeben.

    Das ganze ist ja nur eine - für ernsthafte Anwendungen viel zu langsame - Betaversion zum rumspielen und zum testen der Kompatibilität zur bekannten Referenz-Implementierung in Perl von Martin Wilz (findet man hier im Anhang)! Erst wenn die Kompatibilität an hand zahlreicher Testdaten dann halbwegs sichergestellt ist, lohnt es sich über Beschleunigung und Assemblerroutinen nachzudenken, und danach später eine extern einbindbare Funktion daraus zu machen...
    Gruss

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Ah, sry, habs mit ner Unit verwechselt. :)

    XProfan-Semiprofi (XProfan X4a+XPIA+LemonEd)/PureBasic 6.00/RAD Studio 11 (Alexandria)/Perl 5.34.00/Python 3.10.0
    Ryzen 5800X/Gigabyte B550m DS3H/32GB RAM@3600MHz/Radeon HD7770 OC/Asus Xonar SE/46TB HDD+512GB Samsung 980 Pro+2TB Crucial SSD/28" Samsung 4k
    Synology DS920+ mit 42TB
    XBox Classic/360S/Series X/PS3 Super Slim 500GB/PS4 Pro (XBL-ID: jacdelad, PSN: jacdelad84)
    OnePlus 9 Pro (12GB/256GB)
    https://jacdelad.bplaced.net

  • Ja, aber noch ist nicht sicher, ob das wirklich die "Kölner Phonetik" ist, oder doch Abweichungen bei bestimmten Buchstabenkombinationen existieren. Dann wären aber bereits existierende Datenbanken mit "phonetischen" Code-Einträgen nicht wirklich vergleichbar bzw. auswertbar...

    Noch handelt es sich bloss um schneckenlangsamen Müll, aber vielleicht können wir ja - nach gehörigem SpeedUp - noch was Sinnvolles draus basteln...

    Gruss

    P.S.: Vorsicht! Auf mindestens ein Beschleunigungsverfahren bestehen Rechte seitens der Schweizer Firma Xtreme Software XLAB. Die schaffen angeblich 100.000 Einträge innerhalb von Millisekunden...

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Hab mal Testcode generiert, der Zweierkombinationen aller in der "Kölner" Definitionstabelle vorkommenden (und nicht vorkommenden) Einträge durchexerziert. Nun müsste man dazu die Ergebnisse des Perl-Programms von Martin Wilz ergänzen. Schätze, ich muß wohl Perl aufsetzen...

    Und damit wurde das ganze erzeugt (Vorsicht, versucht Daten in eine Datei testdata.txt am aktuellen User-Desktop zu schreiben. Nutzung auf eigene Gefahr):

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Apropos: Neuester Stand bei (allgemeiner) Textähnlichkeitsuche ist der MCWPA Algorithmus. Info dazu gibts bei Springer als Kapitel eines nicht ganz billigen Buches: SpringerLink - Pattern Analysis & Applications, Volume 6, Number 2 - oder nach einigem Suchen (Google sei Dank) hier im Net: MCWPA.
    Und wieder Taschengeld gespart! (Naja, eigentlich nicht, hätt ich mir ja eh nicht gekauft).
    Gruss

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Schicksal von OpenOffice bleibt unklar
    ------------------------------------
    Seit Fa. SUN von ORACLE gekauft wurde, besteht die Gefahr, daß die Programmiersprache Java, aber auch das bislang gratis verfügbare, MS-Office-kompatible "OpenOffice" nicht länger Freeware bleibt (Mr. Ellison muss ja schließlich seine HiTech-Regatta-Yachten bezahlen). Daher hat sich vor einiger Zeit ein garantiert Freeware bleibendes Projekt namens LibreOffice abgespalten, Info dazu hier, Download hier. Müllmeldung, weil das ohnehin schon jeder wusste...

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Schade, dann muss ich es eben in der Badewanne lesen ;-). Die (mathematische) Sprache ist mir leider auch nicht geläufig, und "DoS" heisst dort auch nicht "Denial of Service"... Ziemlich chinesisch, aber echt!

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Zeichenpositionsunabhängiger Wortvergleich
    ------------------------------------------
    Der Anagramm-Distanzalgorithmus ermöglicht einen Zeichenpositions-unabhängigen Ähnlichkeitsvergleich. Vollständige Anagramme liefern somit ein Ähnlichkeitsmaß von 100%. Wer mag, kann meine Umsetzung mal hier testen: anadist.prc. Wie schon bekannt, die .prc-Datei (Xprofan 11) auf eine compilierte XProfan-Datei oder die Prfrun32.exe ziehen.
    Gruss

    P.S.: Allerdings ist dieser Algorithmus als alleiniges Kriterium zu unsicher :cry:. Vielleicht wäre er verbesserbar durch die in einem der letzten Beiträge angesprochene Erkenntnis, daß Wortbeginn und Wortende doch wichtiger sind als Buchstaben in der Mitte... ;) Mal sehen!

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Ähnlichkeitsmaße im Data Mining
    -------------------------------
    Nicht nur in Gen-Datenbanken sind Ähnlichkeitsvergleiche wichtig, auch im herkömmlichen Data Mining, also dem Schaffen neuer Verknüpfungen zwischen vorhandenen Datentabellen, sind sie gefragt, damit simple Schreibfehler nicht die Verknüpfbarkeit torpedieren. Das geht so weit, daß nicht nur an die verwendete Sprache angepasste Algorithmen verwendet werden, sondern sich die Ähnlichkeitsmaße direkt nach dem Dateninhalt der jeweiligen Tabellenspalte richten. Ein Beispiel:

    Hausnummernabgleich
    Bei der Verknüpfung von Adressen aus unterschiedlichen Datenbanken hat sich laut dieser Quelle bewährt, nach einem gelungenen Vergleich des Straßennamens die Hausnummer gesondert zu verarbeiten. Hausnummern können nämlich besonders leicht Fehler enthalten, in zahlreichen unterschiedlichen Schreibweisen auftreten. Bewährt hat sich offenbar folgende Methode:

    Der Vergleich wird an sog. BEREINIGTEN HAUSNUMMERN durchgeführt.
    1. Alle Zusätze hinter der eigentlich Straßennummer werden gestrichen:
    >>> 23/2 23 / 2, 23-2, 23\II oder 23a werden als 23 behandelt.

    2. Das Ähnlichkeitsmaß für Hausnummern wird so ermittelt:
    HNr1 und HNr2 seien bereinigte Hausnummern (ohne jeden Zusatz),
    HNr1 sei eine Zahl, HNr2 sei eine Zahl und HNr1 sei ungleich HNr2.

    3. HNr1 habe a Ziffern (a=int(log10(HNr1))+1); HNr2 habe b Ziffern.
    Erforderlichenfalls wird durch Tausch sichergestellt, daß b >= a ist,
    mit anderen Worten: "Hausnummer2 ist nicht kürzer als Hausnummer1"

    4. Dann wird gezählt, wie viele Ziffern von HNr1 in HNr2 vorkommen:
    Dieser Wert wird mit c bezeichnet. Das "Ähnlichkeitmaß für Hausnummern" lt. obgenannter Quelle ist dann definiert durch p=100*c/(2*b) 'in %
    Sollte man direkt mal testen...

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

  • Missverständliches time$(1)
    ---------------------------
    Um in Logfiles einen exakten Zeitstempel einzutragen, wollte ich time$(1) verwenden. Der Befehl liefert Sekunden und -so dachte ich- nach dem Komma Zehntel-, Hunderstel- und Tausendstel. Dem ist aber NICHT so! Den "Komma-Punkt" muss man als bloßen Trenner verstehen. Nach dem Punkt werden grundsätzlich Tausendstel ANGEHÄNGT. DABEI WERDEN FÜHRENDE NULLEN der Tausendstelsekundenzahl UNTERDRÜCKT! Wenn der Timer also zufällig gerade bei 1 Tausendstel steht, wird "__.1" angezeigt. Sieht also aus wie Zehntelsekunden. Wer da z.B. für Wettbewerbe Zeitnehmungsprogramme schreibt, wird das korrigieren müssen, z.B. so:

    Code
    Cls : declare tm$
    While 1 : tm$=time$(1)
       tm$=left$(tm$,2)+","+right$("000"+mid$(tm$,4,3),3)
       print tm$ : WaitInput
    EndWhile


    Dabei ergibt sich offenbar bei den 1000steln eine Interferenz mit dem Betriebssystem: Enweder wird sozusagen eine "Schwebung" aus Interruptfrequenzen und einem Tausendstel-Counter dargestellt, oder (mein Verdacht) die Funktion greift auf Hardware-Timer-Speicherzellen zu, die etwas anderes als die Tausendstel darstellen. Die Stelle zählt bei mir nämlich ziemlich genau im Sekundentakt aufwärts... Wer deshalb nur die 100stel braucht, fügt daher vor dem Print noch tm$=left$(tm$,5) ein.

    HP255G7:Win10pro2.004,4*AMD Ryzen3200U@2.60GHz,6+2GB-RadeonVega/237GBSSD:intlDVDRW,3xUSB3 ext4TB-HDX,XProfanX3+Xasm/Xpse

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!