Datenschrott in Firebirddatensätzen

  • In einer Firebirddatenbank habe ich Datensätze vom Typ VARCHAR(100). Ich lade Datensätze direkt in ein Listview. Lasse ich es mit folgendem Code direkt ins Listview reinlaufen:

    Code
    X$ = "select first 29 Stationname, StationID from STA WHERE STATIONNAME STARTING WITH 'G' ORDER BY STATIONNAME"
          i%=@db("fbSQLExec", ep&, X$, OLView&)


    dann bringt er mir in den VARCHARs immer Datenschrott mit und zu lange Datensätze, die länger als 100 Zeichen sind und bei der Auswertung stören (z.B an 100 Zeichen angehängte Semikolons und Anführungszeichen).
    also geh ich den eigentlich bescheuerten Umweg, alle Strings auf 100 zu kürzen, bevor ich sie in die Listview lade, was natürlich die Ladezeit erheblich verlängert:

    hab ich irgendwo was falsch gemacht? Kann doch eigentlich Blödsinn sein, oder?

    ---
    Xprofan X4, Win7/32, Win10/64

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress, WoltLab & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Müßte man mal prüfen, ob der Datenschrott von Firebird kommt,
    oder ob es von sonstwo kommt.

    Mach doch mal einen einfachen Test, indem du die Ergebnisse
    von @db("fbSQLExec",...) entweder ausprintest oder wenn zu viele,
    einfach in eine Textdatei schreibst (Modus 2).

    Dann weiß man, ob man Firebird ausschließen kann und anders
    rangehen muß. Da 100 Zeichen ja schon recht viel ist, wäre auch
    zu überlegen, da ein Blob-Feld zu nutzen und in einem MultiEdit
    darzustellen.

    Wir sind die XProfaner.

    Sie werden von uns assimiliert.

    Widerstand ist zwecklos!

    Wir werden alle ihre Funktionen und Algorithmen

    den unseren hinzufügen.

  • Danke für den Tip. Der Datenüberschuss wird von Firebird abgeliefert und sieht dann z.B. so aus:

    G-0Q86 V - Moon 5 - Archangels Logistic Support ;"|60012235|
    G-0Q86 VII - Moon 1 - Guardian Angels Assembly Plant ;"|60012898|
    G-G78S VII - Salvation Angels Chemical Refinery ;"|60012745|
    G-G78S X - Moon 11 - Serpentis Corporation Chemical Refinery ;"|60012796|
    G-G78S XI - Moon 3 - Dominations Assembly Plant ;"|60013051|
    G-G78S XI - Moon 7 - Serpentis Corporation Chemical Refinery ;"|60012802|
    G-ME2K VIII - Moon 14 - True Creations Testing Facilities ;"|60014236|
    G-ME2K VIII - Moon 3 - True Power Mining Outpost ;"|60014302|
    G-N6MC VI - Moon 5 - Jovian Directorate Bureau ;"|60013774|
    G-N6MC VI - Moon 9 - Jovian Directorate Bureau ;"|60013783|

    Der erste String ist länger als 100 Chars, obwohl er laut Definition ein VarChar mit Länge 100 sein sollte...
    Ich nutze Firebird 2.5.0. Gibts irgendeine Veranlassung, in der Firebird.conf Eintragungen zu machen? Bisher lief Firebird, ohne dass ich mich um irgendetwas kümmern musste...

    ---
    Xprofan X4, Win7/32, Win10/64

  • ach ja: In der Datenbank sind die Datensätze sauber - das kann ich mit einem externen Database-Browser sehen. Der Schrott entsteht also erst bei der Abfrage der Datensätze.

    ---
    Xprofan X4, Win7/32, Win10/64

  • Sind das oben die Ergebisse ?
    Wenn ja, was gehört denn nicht rein ?
    Die sind ja nichtmal 100 Zeichen lang.

    Sind das die Trenner mit den Zahlen ?

    ;"|60012235|

    und sollte evtl. so aussehen :

    G-0Q86 V - Moon 5 - Archangels Logistic Support

    Könnte evtl. was mit den Hochkommas zu tun haben.
    Wenn man solche in Textfeldern hat, am besten immer
    die einfachen ' verwenden.

    Könnte aber auch was in der SELECT - Klausel schief laufen :

    STARTING WITH 'G'

    gäbe mir da zu denken.
    Oder mal versuchen, X$ anders zusammen zu setzen.
    Statt des einfachen Hochkommas mal Chr$(146), glaube ich
    einsetzen. Also sows :

    Code
    X$ = "select first 30 Stationname, StationID from STA WHERE STATIONNAME STARTING WITH" + Chr$(146) + "G" + Chr$(146) + " ORDER BY STATIONNAME"


    Hatte mal vor Jahren was ähnliches, aber mit normalem SQL.

    Wir sind die XProfaner.

    Sie werden von uns assimiliert.

    Widerstand ist zwecklos!

    Wir werden alle ihre Funktionen und Algorithmen

    den unseren hinzufügen.

  • Danke, du hast mich auf den richtigen Pfad gebracht: Die Lösung: Der Datenschrott wird durch das SQL-Argument ORDER BY verursacht. Das ganze sieht folgendermassen aus: Wenn ich die Abfrage unsortiert ausgeben lasse, siehts sauber aus:

    Code
    X$ = "SELECT first 8 MText From MAT WHERE MTyp = 'O'"


    Ich gebe jetzt mal die SQL-Ausgabe in die Textdatei als Quellcode rein, denn oben hats mir die Leerzeichen in der VarChar Ausgabe entfernt. Bei dieser Abfrage ohne Sortieranweisung bekomme ich den String auch gekürzt ohne nachfolgende Leerzeichen übertragen:

    Code
    Non-CS Crystals|
    Heavy Metals|
    Toxic Metals|
    Chiral Structures|
    Burned Logic Circuit|
    Armor Plates|
    Consumer Electronics|
    Core Probe Launcher I|


    Völlig sauber. Gebe ich jetzt als SQL-Anweisung den Befehl mit dem ORDER BY Argument raus:

    Code
    X$ = "SELECT first 8 MText From MAT WHERE MTyp = 'O' ORDER BY MText"


    dann bekomme ich als Ergebnis von Firebird folgendes geliefert:

    Code
    10MN Afterburner II                                                                                 H'"|
    200mm Railgun I                                                                                     H'"|
    200mm Railgun II                                                                                    H'"|
    5MN Microwarpdrive I                                                                                H'"|
    5MN Microwarpdrive II                                                                               H'"|
    Adaptive Invulnerability Field I                                                                    H'"|
    Adaptive Invulnerability Field II                                                                   H'"|
    Alloyed Tritanium Bar                                                                               H'"|


    Also erstmal auf 100 Zeichen aufgefüllt und anschliessend noch Datenschrott in Form <H'">.

    ---
    Xprofan X4, Win7/32, Win10/64

  • Zitat

    X$ = "SELECT first 8 MText From MAT WHERE MTyp = 'O' ORDER BY MText"

    Was nun auch noch sein könnte :
    Was ist bei dir MText ?
    Wenn es eine XProfan-Variable ist, setze mal einen Doppelpunkt davor :

    :MText

    Scheint in der XProfanhilfe nicht sonderlich erwähnt zu werden. Roland hat
    vor etwa 2 Tagen Stringvariablen und numerische Variablen in Literale
    in die Freeprofan-Versionen eingebaut.
    Da schreibt er, daß die so eingebaut werden :

    Print "blabla \:Variable ....." .

    Also noch ein Backslash davor, im Gegensatz zu db("SQLExec",...) das nur einen
    Doppelpunkt vor der Variablen erwartet. Sonst hätte ich das auch nicht gewußt.

    Da SQLEmbedded permanent (Default) eingeschaltet ist, könnte es auch sein,
    daß die Abfrage mit einem Treiber von Firebird kollidiert. Das kann man aber
    explizit mit

    Set("SQLEmbedded", 0)

    ausschalten. Dann kannst du mal versuchsweise den Inhalt von MText
    händisch im Quellcode eintragen.
    Das wäre dann auch mal einen Versuch wert.


    Leider habe ich gerade keine DB zum Testen da.

    Wir sind die XProfaner.

    Sie werden von uns assimiliert.

    Widerstand ist zwecklos!

    Wir werden alle ihre Funktionen und Algorithmen

    den unseren hinzufügen.

    2 Mal editiert, zuletzt von H.Brill (27. Dezember 2015 um 14:23)

  • MText ist keine XProfan-Variable sondern der Bezeichner für ein Datenbankfeld. Mit dem Set("SQLEmbedded", 0) ergab sich keine Änderung. Ich habe mir jetzt die neuere Firebirdverson 2.5.5 geholt - gibt auch den identischen Datenschrott bei der sortierten Abfrage.

    ---
    Xprofan X4, Win7/32, Win10/64

  • Aja, stimmt, bei ORDER BY kommt ein Spaltenname.
    Scheint ja so, daß es am ORDER BY hängt.

    Gib mal statt Spaltenname die Spaltennummer ein,
    und auch, wie sortiert werden soll (ASC oder DESC).

    so etwa :

    ORDER BY 2 DESC


    Hier wäre dann die zweite Spalte absteigend gemeint.


    Spaltennummern fangen bei 1 an.


    Vielleicht mag das Firebird lieber.


    Vielleicht sieht auch mal ein Experte für SQL drüber.

    PS:
    Müßte das nicht Select first(8) ..... usw. heißen ?

    Wir sind die XProfaner.

    Sie werden von uns assimiliert.

    Widerstand ist zwecklos!

    Wir werden alle ihre Funktionen und Algorithmen

    den unseren hinzufügen.

    Einmal editiert, zuletzt von H.Brill (27. Dezember 2015 um 20:04)

  • Nachtrag :

    Ich habe jetzt mal ein Probelauf gemacht, bei dem
    die Tabelle auch mit VARCHAR(X) Textfelder hat.

    Das läuft, egal ob mit CHAR(X) oder VARCHAR(X).
    DAS "ORDER BY" funktioniert bei mir auch.

    Wird jetzt schwierig, wo bei dir der Fehler liegt.

    Wir sind die XProfaner.

    Sie werden von uns assimiliert.

    Widerstand ist zwecklos!

    Wir werden alle ihre Funktionen und Algorithmen

    den unseren hinzufügen.

    Einmal editiert, zuletzt von H.Brill (28. Dezember 2015 um 11:19)

  • Danke für deinen Einsatz. Der Müll entsteht also bei mir direkt bei der Übergabe. Wenn ich mit nem anderen Databasebrowser in die Datei schaue: Die Daten sind sauber. Nachdem ich aber schon ganz gern die Daten sortiert übergeben bekomme, hab ich einen Weg gefunden, um den Müll direkt von Firebird abschneiden zu lassen. Ich lasse die Trim-Funktion alles abschneiden, was länger als die maximale VarChar-Länge ist und siehe da: es kommt sauber rüber und nicht in 100 Länge mit Leerzeichen aufgefüllt sondern als sinnvoller String, den ich nicht nachbearbeiten muss.

    Code
    X$ = "SELECT first 23 Left(StationName,100) From STA ORDER BY StationName"

    ---
    Xprofan X4, Win7/32, Win10/64

  • Ich hatte das auch schon mal. Die Lösung lag darin, in der "ORDER BY" Klausel alle abgefragten Felder mit anzugeben.

    SQL
    X$ = "select first 30 Stationname, StationID from STA WHERE STATIONNAME STARTING WITH" + Chr$(146) + "G" + Chr$(146) + " ORDER BY STATIONNAME, StationID


    Scheint an FireBird zu liegen.

    ProfanX2, Win7

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!