Code mit Datenbankzugriffen und Berechnungen ist langsam

  • Ich arbeite mit einer Firebird Datenbank, die mittlerweile etwas größer geworden ist. Weil da häufig Neuberechnungen anstehen, die dann relativ viele Datensätze betreffen, wird die Berechnungszeit mittlerweile recht hoch - obwohl das Ding auf einem Gamer-PC mit SSD Laufwerk läuft, rechnet der ab und zu mal ne viertel bis halbe Stunde.... Könnt ihr mir mal nen Tip geben, welche Aktionen im Code unten zeitkritisch sind?

    ---
    Xprofan X4, Win7/32, Win10/64

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress, WoltLab & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Hi Martin,
    setz mal nach jeder db(fbSQLExec......) Zeile ein Print "db(fbSQLExec......) " + die Uhrzeit mit Sekunden.

    Und auch nach dieser Zeile:
    5. i% = @db("fbSQLExec", ep&, X$, hGrid&)

    Und auch1x vor Zeile 1 die Zeit nehmen.
    Und 1x nach der Schleife..

    So kannst du ziemlich gut erkennen, an welcher Stelle Firebird so lange hängt.
    Und dann schaun wir mal...

    Gruß Jörg

    Ideen gibt es viele - man muß sie nur haben...
    Linux Mint / LMDE / Antix

  • Mehr eine theoretische Anleitung:
    Vor der ersten DB-Anweisung ein Set Transaktion und am Ende ein Commit (siehe Anleitung für Firebird) Transaktions-Statements.
    Dies verhindert, das nach jeder Änderung in die DB geschrieben wird. Dies geschieht erst am Ende, was einen erheblichen Geschwindigkeitsvorteil bringt.

    Wie das jetzt in XProfan umzusetzen ist, da sollte dann jemand anders helfen :pfeifend:

  • Zitat aus der Hilfe:

    Transaktionen:
    Normalerweise wird bei Firebird jeder SQL-Befehl sofort und endgültig ausgeführt, was in 90% aller Fälle auch korrekt ist. Aber es gibt Fälle, wo mehrere Datenbankanweisungen nur komplett oder überhaupt nicht ausgeführt werden sollen. Hier greifen die Transaktionen mit folgenden Befehlen:
    db("fbExec", "#TRANSACTION", N%)
    db("fbExec", "#COMMIT",N%)
    db("fbExec", "#ROLLBACK",N%)
    Eine Transaktion wird entweder komplett ausgeführt oder gar nicht. Im Normalzustand ist der Autotransaktionsmodus eingeschaltet: Jeder SQL-Befehl ist eine eigene Transaktion. Mit TRANSACTION kann man dies abschalten. Alle folgenden Befehle sind nun zusammen eine Transaktion, bis sie mit einem "COMMIT" bestätigt und endgültig ausgeführt oder mit "ROLLBACK" verworfen werden. Alle Änderungen in den Datentabellen vor "COMMIT" sind nur temporär und werden im Falle eines "ROLLBACK" wieder zurückgenommen.
    Nach COMMIT oder ROLLBACK wird der Autotransaktions-Modus wieder eingeschaltet: Jeder SQL-Befehl ist wieder eine eigene Transaktion.
    SQLDONE beendet etwaige offene Transaktionen mit einem COMMIT.
    Sollte während einer Transaktion ein schwerer Fehler auftreten (Client-Rechner stürzt ab, SQL-Verbindung zum Server bricht ab, etc.), führt die Datenbank in aller Regel ein automatisches ROLLBACK durch.

    Und ja, das wird das Ganze extrem beschleunigen. Außerdem macht es die Daten sicherer, da bei einem Fehler im Ganzen eben nichts geändert wird.

    Gruß
    Roland

    Fujitsu Esprimo G5011 - Intel Core i5-10500T / 16 GB RAM / 500 + 2000 GB SSD / Windows 11pro - XProfan X4a

    Als Backup: Molegar Notebook - Intel Celeron N5095 / 16 GB RAM / 1000 GB HDD / Windows 11pro - XProfan X4a

    http://www.xprofan.de

  • nur um das technisch besser zu verstehen - die Sicherheit liegt ja auf der Hand. Soweit, so klar.
    Jedoch wie kommt es zu der höheren Geschwindigkeit?
    Wenn der Server erstmal alles temporär ausführen muß (und sich den Ausgangszustand merkt) und dann zusätzlich beim COMMIT die DB-Änderungen entgültig ausführt, ist das ja unterm Strich mehr Arbeit für den Server - sollte also demnach eher langsamer werden.
    Wodurch wird er aber nun schneller?

    Es sei denn, die temporären Änderungen werden alle vorerst rein im RAM (falls ausreichend vorhanden) ausgeführt und dann am Ende genau 1x auf SSD geschrieben.
    Schont ja dann gleich nebenbei die SSD :)

    Gruß Jörg

    Ideen gibt es viele - man muß sie nur haben...
    Linux Mint / LMDE / Antix

    Einmal editiert, zuletzt von JörgG (1. April 2020 um 22:51)

  • Jede Änderung stellt eine Transaction dar und wird mit einem auto-commit (schreiben in die DB) beendet. Mit Set Transaction wird dieser auto-commit nicht mehr ausgeführt, sondern erst wenn der Befehl commit kommt. Commit ist also nicht zusätzlich! Es werden mehrere Aktionen zusammengefaßt und dann in einem Rutsch in die DB geschrieben.

  • soweit verstanden. Aber dieses "Zusammenfassen" wird ja zuvor temporär ausgeführt und erst mit commit schließlich in einem Rutsch in die DB geschrieben (quasi das Endergebnis).
    Das dann der eine Rutsch schneller geht, als etliche Male die DB neu zu schreiben, ist auch verstanden.

    Mir ging es eher um den temporären Part, der ja auch irgendwie zwischengespeichert werden muß (je nachdem, welche SQL-Aktionen abgewickelt werden)
    Und das kann ja eigtl. nur im RAM passieren, sonst wär der Geschwindigkeitsvorteil ja wieder dahin (nach meinen Verständnis zumindest ;-))

    Gruß Jörg

    Ideen gibt es viele - man muß sie nur haben...
    Linux Mint / LMDE / Antix

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!