Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Hier dreht es sich um den PostGre Server

Moderator: Moderatoren

Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

Jimmy,
ich habe in phpPgAdmin nachgeschaut - ja, jeder Index, der in einer CDX-Datei war, existiert nach dem Upsize als ein SQL Index in Postgres (mit "_order_" im Namen).
Viele Grüße,
David
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von AUGE_OHR »

dtmackenzie hat geschrieben: Di, 16. Jul 2019 9:11 ich habe in phpPgAdmin nachgeschaut - ja, jeder Index, der in einer CDX-Datei war, existiert nach dem Upsize als ein SQL Index in Postgres (mit "_order_" im Namen).
OK, Danke

wie sieht es mit dem FIELD "__deleted" aus, wurde da auch ein Index erstellt :?:
gruss by OHR
Jimmy
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

Eben nicht - ich bin vom Anfang an davon ausgegangen, dass das Teil des Problems ist.
Ich bin gespannt auf das nächste Update, leider habe ich aber bald ein dringendes Kundenprojekt für ein paar Monate.
Ein bisschen Zeit zum Testen werde ich trotzdem versuchen zu finden zwischendurch...
Viele Grüße,
David
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von AUGE_OHR »

dtmackenzie hat geschrieben: Di, 16. Jul 2019 10:54 Eben nicht - ich bin vom Anfang an davon ausgegangen, dass das Teil des Problems ist.
AHA ... so was hatte ich mir gedacht :roll:

wenn eine Bedingung "DELETED ON" vorhanden ist wird die ausgeführt aber wenn kein Index vorhanden ist ...
gruss by OHR
Jimmy
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

Kann aber höchstens Teil des Problems gewesen sein - im Beispiel waren eh keine gelöschte Datensätze drin.
Jedenfalls haben Alaska das Problem gefunden und ich bin zuversichtlich, dass beim nächsten Update das Performance stimmen wird.
Ich muss noch im Herbst viel testen, aber ich habe die Hoffnung, dass wir unseren ADS-Server in diesem Jahr mit Postgres ersetzen können.
Viele Grüße,
David
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von AUGE_OHR »

dtmackenzie hat geschrieben: Di, 16. Jul 2019 12:24 Kann aber höchstens Teil des Problems gewesen sein - im Beispiel waren eh keine gelöschte Datensätze drin.
Jedenfalls haben Alaska das Problem gefunden und ich bin zuversichtlich, dass beim nächsten Update das Performance stimmen wird.
klingt zumindest positiv ...
dtmackenzie hat geschrieben:Ich muss noch im Herbst viel testen, aber ich habe die Hoffnung, dass wir unseren ADS-Server in diesem Jahr mit Postgres ersetzen können.
viel Spass beim testen und berichte uns was dabei raus gekommen ist.
gruss by OHR
Jimmy
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

viel Spass beim testen und berichte uns was dabei raus gekommen ist.
Werde ich auf alle Fälle machen, nur wie gesagt, wird es wegen Arbeitsbelastung eine Weile dauern.
Ich finde PGDBE eine richtig tolle Sache von Alaska wenn alles funktioniert als Alternative zu ADS.
ADS war schon ein riesen Fortschritt im Vergleich zu "nackten" DBFs, aber es kostet halt Geld, und ich glaube nicht so richtig, dass SAP eine langfristige strategische Interesse daran hat.
Weiterhin werde ich mit Postgres mehr Möglichkeiten für Systemintegration und sanfte, schrittweise Migration zu SQL-basierten Systemen haben.
Viele Grüße,
David
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von ramses »

Eben nicht - ich bin vom Anfang an davon ausgegangen, dass das Teil des Problems ist.
Das ist nicht richtig. --> Es wird einer angelegt.
indexe.jpg
indexe.jpg (11.79 KiB) 10300 mal betrachtet
Die Ursprungsdatei hat einen NTX Index. Nach dem Upzize zeigt Postgres 4 Indexes (die Mehrzahl scheint Indexes zu heissen)

Erstellt mit der Version 2.00.1113
Valar Morghulis

Gruss Carlo
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

Hallo Ramses,
bei mir war kein ...__deleted Index zu sehen.
Das werde ich beim weiteren Testen im Auge behalten, Danke.

Valar Dohaeris!
Viele Grüße,
David
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam?

Beitrag von dtmackenzie »

Nur zur Info - in der aktuellen Version ist das Problem gelöst (wahrscheinlich seit Monaten, ich war mit einem ganz anderen Projekt voll beschäftigt).
Viele Grüße,
David
Benutzeravatar
Werner_Bayern
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2120
Registriert: Sa, 30. Jan 2010 22:58
Wohnort: Niederbayern
Hat sich bedankt: 29 Mal
Danksagung erhalten: 70 Mal

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von Werner_Bayern »

Servus David,

beachte dazu aber die aktuell noch vielen offenen PDRs zur ISAM-Emulation! Siehe auch meinen Vortrag in Münster. Aktuell geht es nicht ohne Codeumstellung!
es grüßt

Werner

<when the music is over, turn off the lights!>
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von dtmackenzie »

Danke Werner!
Ist Dein Vortrag online verfügbar?

Das Problem mit "SET DELETED ON" war zwar nicht zumutbar, aber sonst nehme ich einiges an Codeumstellung in Kauf - ich kenne z.B. schon Stellen in unserem System, die auf DBFs als Dateien basieren (jede Stückliste in eine eigene DBF, iggit!). Trotzdem versuche ich dies jetzt durchzuziehen - unsere ADS wird veraltet und hat eine Benutzeranzahlbeschränkung, außerdem wollen wir verschiedene Bereiche über Postgres zusammenbinden.
Viele Grüße,
David
Benutzeravatar
Martin Altmann
Foren-Administrator
Foren-Administrator
Beiträge: 16502
Registriert: Fr, 23. Sep 2005 4:58
Wohnort: Berlin
Hat sich bedankt: 111 Mal
Danksagung erhalten: 48 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von Martin Altmann »

Moin David,
alle Teilnehmer des Entwicklertreffens können die Vorträge online abrufen.
Alle Vereinsmitglieder können dies ab Mai 2020 (zum Entwicklertreffen in Regensburg).

Viele Grüße,
Martin
:grommit:
Webseite mit XB2.NET und ausschließlich statischem Content in Form von HTML-Dateien: https://www.altem.de/
Webseite mit XB2.NET und ausschließlich dynamischem Content in Form von in-memory-HTML: https://meldungen.altem.de/

Mitglied der XUG Osnabrück
Vorsitzender des Deutschsprachige Xbase-Entwickler e. V.
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von dtmackenzie »

Ich war nur einmal zur Entwicklerkonferenz (Berlin 2007), die war aber super.
Viele Grüße,
David
Benutzeravatar
Martin Altmann
Foren-Administrator
Foren-Administrator
Beiträge: 16502
Registriert: Fr, 23. Sep 2005 4:58
Wohnort: Berlin
Hat sich bedankt: 111 Mal
Danksagung erhalten: 48 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von Martin Altmann »

Tja,
dann tritt doch in den Verein ein (60€/Jahr) und komm vergünstigt nach Regensburg im Mai.

Viele Grüße,
Martin
:grommit:
Webseite mit XB2.NET und ausschließlich statischem Content in Form von HTML-Dateien: https://www.altem.de/
Webseite mit XB2.NET und ausschließlich dynamischem Content in Form von in-memory-HTML: https://meldungen.altem.de/

Mitglied der XUG Osnabrück
Vorsitzender des Deutschsprachige Xbase-Entwickler e. V.
Benutzeravatar
Jan
Marvin
Marvin
Beiträge: 14641
Registriert: Fr, 23. Sep 2005 18:23
Wohnort: 49328 Melle
Hat sich bedankt: 21 Mal
Danksagung erhalten: 87 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von Jan »

Zu dem, was Martin geschrieben hat: Der Punkt ist, das die Konferenzen vom Verein organisiert werden, und von den Teilnehmern der Konferenzen finanziert werden. Daher bekommen auch die Teilnehmer sofort die Videos, sobald die etwas kleiner gerechnet wurden. Und die zahlenden Vereinsmitglieder ein Jahr später - die haben die Konferenz nicht bezahlt, bekommen die Videos also nicht sofort, aber als zahlende Vereinsmitglieder dann halt etwas später. Immerhin halten alle Vereinsmitglieder zusammen das Forum am Laufen, die Gemeinschaft zusammen, usw.

Jemandem, der weder beim der Konferenz dabei war noch den Laden am Laufen hält durch seine Jahresbeiträge, ebenfalls die Videos zur Verfügung zu stellen wäre unfair. Dann spar ich mir in Zukunft das Geld für die Konferenz, ich kann mir das Know How ja später vollkommen kostenfrei besorgen. Dann kommt irgendwann niemand mehr, und dann gibt es auch keine Videos mehr da es keine Vorträge mehr gibt weil keiner die Räumlichkeiten bezahlt.

Und die 60 € Beitrag hat man schon mit der nächsten Subscription wieder drin, wenn man die bei einem der Vereinspartner kauft. Und noch mehr bei anderen Produkten. Und auch bei den Konferenzen bekommen Vereinsmitglieder immer Rabatte. Im Endeffekt spart man damit also noch ordentlich. Und hat auch Zugriff auf für Mitglieder reservierte Forenbereiche mit noch mehr Wissen.

Jan
Mitglied der XUG Osnabrück
Mitglied der XUG Berlin/Brandenburg
Mitglied des Deutschsprachige Xbase-Entwickler e. V.
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von dtmackenzie »

Danke für die Infos, ich werde es mir überlegen.
Eigentlich mache ich Xbase nur nebenbei um unsere firmeneigene EDV am Leben zu halten, sonst arbeite ich (was die Produktentwicklung angeht) hauptsächlich in C++ mit ein bisschen C#.
Die Alaska Entwicklerkonferenz 2007 wurde mir genehmigt weil ich das EDV-System übernommen habe (war ursprünglich in Clipper, Steffen Schubert hat den Weg nach Xbase++ geebnet).
Vielleicht kann ich meinen Chef auch hierzu überreden mit dem Umstieg auf Postgres als Begründung, ich muss aber eine günstige Gelegenheit abwarten...
Viele Grüße,
David
Benutzeravatar
Koverhage
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2470
Registriert: Fr, 23. Dez 2005 8:00
Wohnort: Aalen
Hat sich bedankt: 102 Mal
Danksagung erhalten: 3 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von Koverhage »

Eigentlich mache ich Xbase nur nebenbei um unsere firmeneigene EDV am Leben zu halten,
Die ist keine 60 Euro wert ?
Die 60 Euro sind doch steuerlich absetzbar
Gruß
Klaus
Benutzeravatar
dtmackenzie
Rekursionen-Architekt
Rekursionen-Architekt
Beiträge: 265
Registriert: Do, 22. Nov 2007 9:02
Wohnort: Leipzig
Hat sich bedankt: 66 Mal
Danksagung erhalten: 22 Mal
Kontaktdaten:

Re: Postgres ISAM Performance - DBSKIP langsam? [ERLEDIGT]

Beitrag von dtmackenzie »

Sicher.
Ich denke eher an Regensburg, erst im neuen Jahr kann ich ausrechnen, was das an Geld und Zeit kosten würde.
Viele Grüße,
David
Antworten