Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Hier dreht es sich um den PostGre Server

Moderator: Moderatoren

Umstellung auf PostgreSQL

Nein
5
63%
JA innerhalb von 6 Monaten
0
Keine Stimmen
JA innerhalb von 12 Monaten
2
25%
JA innerhalb von 24 Monaten
0
Keine Stimmen
JA aber noch später
1
13%
 
Insgesamt abgegebene Stimmen: 8

Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hi,

kaum einer wird einen PostgreSQL Server nur Lokal betreiben, also wie sieht es im Netzwerk aus :?:

beim Server hier handelt es sich um einen Zotac Mini den ich für Multimedia gedacht hatte.
es ist eine Braswell CPU eingebaut die unter Windows 10 64 Bit mit 8 GB RAM läuft.
die die "Daten" sind auf einer SanDisk 480 SSD die über SATA3 6G angeschlossen ist und das OS und PG sind auf einer M2 Karte.
das Mainboard hat 2 x 1 GB Lan und Wifi.
AV nur von Windows

---

zunächst wurde von jeder Workstation eine grosse Datei (DVD) per Explorer auf den Server kopiert.

die Netzwerk Karte ist dabei zur 98% ausgelastet.
die SSD schluckt eine einzelne Grosse Datei schneller als das 1 GB Netzwerk liefert.
1GB_Transfer.jpg
1GB_Transfer.jpg (219.79 KiB) 12547 mal betrachtet
---

jetzt der lokale Import einer (share) DBF mit > 550.000 Sätzen ...

da Xbase++ nur auf einen CPU Kern arbeitet ist da warten angesagt.
mit 833 Rec/Sec wird weder die SSD noch der PG Server ausgelastet.

---

nun kommen die Workstationen ins Spiel.
ein Notebook mit i5, ein alter FX-8350 @4,2 GHz und eine Skylake i5 CPU also bunt gemischt.

das Notebook bringt es auf 2 Mbit was ca. 765 Rec/Sec sind.
Work1.jpg
Work1.jpg (189.01 KiB) 12547 mal betrachtet
der deutlich stärkere FX-8350 bringt aber auch nur 766 Rec/Sec also liegt es am Server :?:
Work2.jpg
Work2.jpg (219.82 KiB) 12547 mal betrachtet
mit der 3th Station geht es weter hoch wobei die Braswell CPU so langsam ans Limit kommt.
auch die Transferrate nimmt ähnlich wie vorher zu also noch mal 750 Rec/Sec.


p.s. es wurde auch jeweils ein "Einzeltest" durchgeführt was ca. 10 % schneller ist.
Zuletzt geändert von AUGE_OHR am Mo, 12. Aug 2019 11:56, insgesamt 1-mal geändert.
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hab das Limit der Bilder erreicht also hier Screen-Shot 3
Work3.jpg
Work3.jpg (223.47 KiB) 12544 mal betrachtet
---

der Code von PGU wurde nicht auf grosse Daten Mengen optimiert und die DBF nur im Share Modus geöffnet (wird geändert)
ein INSERT ist jeweils als eine Transaktion ausgelegt d.h. der PG "Cache" wird kaum genutzt.

schon mit einer minimalen PG-Server Hardware kann man im Netzwerk arbeiten denn solche massiven Aktionen kommen gewöhnlich nicht vor.
durch eine Xbase++ App wird ein PG-Server wenig belastet. dabei macht dann die Hardware der Workstationen weniger Unterschied.

Die Braswell CPU des PG-Server begrenzt die einzelnen Workstation denn mit der Skylake CPU (x 1.5) oder dem FX-8350 (x 2.0) als PG-Server wird auch die Client App schneller und es geht mehr über das Netzwerk.

---

als DBF-Server hätte die Braswell CPU keine Chance aber als PG-Server sieht die Sache schon anders aus.
je mehr Workstationen gleichzeitig arbeiten desto grösser wird der Unterschied zwischen DBF und PG-Server.

wenn der PG-Server ans Limit kommt würde beim DBF-Server schon lange gar nichts mehr gehen.
mit Super schneller Hardware wird eine Xbase++ Client App trotzdem kaum in den 2-Stelligen geschweige den 3-Stelligen MBit Bereich kommen.

---

Dies ist nun der Bericht aus Xbase++ Sicht. aber wie sieht es mit einer anderen Sprache aus die das "selbe macht" :?:
Fortsetzung folgt ...
gruss by OHR
Jimmy
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

ein Test ist noch nachzureichen.
dazu hab ich PGU so modifiziert das ich es mehrfach starten und den gewünschten CPU-Kern verwenden kann.

auf dem Skylake i5 starte ich also 4 x PGU jeweils auf einem anderen CPU-Kern und importiere je 500.000 Sätze.
dabei macht es keinen wesentlich (10%) Unterschied ob die lokale DBF EXCUSIVE oder im Share Modus geöffnet (auf NVM) wird :!:
Apps4.jpg
Apps4.jpg (119.38 KiB) 12494 mal betrachtet
jede Xbase++ App schafft mit dem Mini-Server rund 660 Rec/Sec. mit dem FX-8350 @4.2 GHz als PG-Server verdoppeln sich die Werte.
damit bin ich schneller als mit dem Skylake i5 lokal mit einer PCIe4x NVM mit 4 Threads auf einer CPU :!:

das jede der Xbase++ App langsamer als eine Single Version ist liegt vermutlich am CPU "Turbo-Modus" der nicht aktive wird wenn mehrere CPU Kerne beschäftigt werden.

insgesamt liegt die Workstation CPU Last mit den 4 x App bei 40% während die Braswell CPU mit dem PG-Server bei 80% steht.
gruss by OHR
Jimmy
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

es hat ein wenig gedauert aber nun bin ich auf dem Weg und er "scheint" schneller zu sein als alles was ich bislang hab.

eine Scheife mit 100.000 "INSERT INTO test (...)" wird local in 29 Sec durchgeführt.
ok es sind nur 5 FIELD aber auch über Netzwerk zeigt sich eine Tendenz : es gehen mehr als 2 Mbit pro Connection mit den Mini-Server

---

so nun mit DBF und verwirrenden Ergebnissen ...

Local schafft er 2600 Rec/Sec bei 551.403 Records mit 23 Felder was schneller ist als meine native Xbase++ Version deren Code ich verwende.

im Netzwerk zeigt der PG-Server zunächst 2.3 Mbit an bei 26% CPU.
PG_IMP_ETH.jpg
PG_IMP_ETH.jpg (115.67 KiB) 12355 mal betrachtet
irgendwann steigt die CPU Last und im Netzwerk wird 3.7 Mbit und dann 5.6 Mbit angezeigt.
PG_IMP_ETH37.jpg
PG_IMP_ETH37.jpg (118.65 KiB) 12355 mal betrachtet
PG_IMP_ETH56.jpg
PG_IMP_ETH56.jpg (122.98 KiB) 12355 mal betrachtet
dann geht es wieder zurück auf 2.3 Mbit bis zum Schluss.

als Durchschnitt werden 832 Rec/Sec ausgegeben also auch das schneller als meine native Xbase++ Version.

warum die Transferrate und CPU Last anstieg um sich dann wieder einpendelt irritiert mich :(
die Datenträger (SSD) haben ja auch nicht viel zu tun und RAM ist noch genug vorhanden (64 Bit OS)

hat jemand eine Idee was so was auslösen könnte :?:
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Jimmy

Du möchtest: High Peformance im Low-Cost Netzwerk?? Das geht doch nicht.

Im normalen Netzwerk sieht es so aus:
perf.jpg
perf.jpg (65.11 KiB) 12316 mal betrachtet
Valar Morghulis

Gruss Carlo
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hi,
ramses hat geschrieben: Di, 27. Aug 2019 13:50 Du möchtest: High Peformance im Low-Cost Netzwerk?? Das geht doch nicht.
Im normalen Netzwerk sieht es so aus:
mit dem FX-8350 als PG-Server verdoppelt sich die Performance wobei die CPU weniger belastet wird.
schnellere Hardware kann man einfach "kaufen" aber der Vergleich zeigt wie die verwendete Programmier-Sprache Einfluss auf die Performance hat ...
aber das wollen ja einige Xbase++ User nicht wissen :roll:

---

ich vergass zu erwähnen das dabei eine RDD dahinter steckt ( RDD = DBE ) und keine "interne" FIELDs verwendet werden.
"SQLMIX" ist aber noch ein anderes Thema woraus ich hier nicht eingehen will.
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Jimmy
schnellere Hardware kann man einfach "kaufen"
Aber, Aber Jimmy, genau so ist es doch! Weil das ist immer billiger als vorhandene Software zu Optimieren oder die Sprache zu einer mit mehr Performance wie C++ zu wechseln. Das wissen (insgeheim) doch alle......
Valar Morghulis

Gruss Carlo
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hi,
ramses hat geschrieben: Di, 27. Aug 2019 21:15 Aber, Aber Jimmy, genau so ist es doch! Weil das ist immer billiger ...
Ja ...
aber von der neue Hardware profitieren ja dann "alle" bei einer Bewerbung wo man sich der Konkurrenz stellen muss.
also versuche ich festzustellen wo die Schwachstellen sind und suche nach Lösungen.

ich bin xBase User und wenn ich von anderen Sprachen spreche meine ich eigentlich Dialekte von xBase.
das Problem : ich möchte den "selben Code" verwenden ... :roll:

ganz ohne Arbeit geht es nicht aber alles beruht auf Windows und somit ist die native PG-Schnittstelle praktisch unverändert.
Pablo hat im PG-Wrapper die API Namen und Reihenfolge der Parameter übernommen also nur die #Include Datei mit #IFDEF versehen und die PG-LIB verwenden ;)

somit konnte ich nun den Vergleich machen und kam zum erwarteten Ergebnis wobei das ganze noch ohne GUI ist.
wenn nun die Hardware und der Code der selbe sind bleibt nur Compiler (Transpiler) / Linker (Ming) als Unterschied.

---

ich hab dem Zotac Mini als Media Server laufen und ihn zum PG-Server aufgerüstet.
dabei verbraucht er nur 3 W im Leerlauf =D> und da er "Passiv" ist macht er keinerlei Geräusche (M2+SSD) [-X

die Idee ist die DBF Dateien meines WMPlayer, die auf dem Server liegen, auf SQL umzustellen.
die hier veröffentlichen Werte sollte man mit einem "normalen" Server locker einhalten / überschreiten.
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Jimmy

ob du mit so einem Gerätchen als Media Server Glücklich wirst???? Schon eine mittlere Media Sammlung sprengt doch die Möglichkeiten des Teils bei weitem. Hast du auch an die Datensicherung gedacht?
Auch der Stromverbrauch wäre/ist mir dann so was von egal. Die Solaranlage liefert genug.

Power ist durch nichts zu ersetzten. Ausser durch noch mehr Power!

Das lernte ich vor vielen Jahren als ich noch Motoren tunte, der Satz gilt noch immer. Auch für Computer.....
Valar Morghulis

Gruss Carlo
Benutzeravatar
Manfred
Foren-Administrator
Foren-Administrator
Beiträge: 21165
Registriert: Di, 29. Nov 2005 16:58
Wohnort: Kreis Wesel
Hat sich bedankt: 206 Mal
Danksagung erhalten: 67 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von Manfred »

Carlo,
ich glaube Du verwechselst da etwas. Hubraum ist duch nichts zu ersetzen außer durch Hubraum.
Aber wer will schon so viel Hu(b)(p)en?
Aber manchmal ändern sich die Zeiten einfach und alte Zöpfen sollten/müssen abgeschnitten werden.
Gruß Manfred
Mitglied der XUG Osnabrück
Schatzmeister des Deutschsprachige Xbase-Entwickler e.V.
großer Fan des Xbaseentwicklerwiki https://wiki.xbaseentwickler.de/index.p ... Hauptseite
Doof kann man sein, man muß sich nur zu helfen wissen!!
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Manfred

ja, ja. Du hast ja recht. So hiess der Spruch vor Jahren..... Das waren noch Zeiten Hemi Motoren mit Roots Blowern.......
Valar Morghulis

Gruss Carlo
Benutzeravatar
Jan
Marvin
Marvin
Beiträge: 14641
Registriert: Fr, 23. Sep 2005 18:23
Wohnort: 49328 Melle
Hat sich bedankt: 21 Mal
Danksagung erhalten: 87 Mal
Kontaktdaten:

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von Jan »

Manfred hat geschrieben: Mi, 28. Aug 2019 8:26Hubraum ist durch nichts zu ersetzen außer durch Hubraum.
Das bezweifle ich dann doch. Früher war unter 6 Liter Hubraum kein Land zu gewinnen. Heute bekommt man das durch bessere Motorsteuerung, bessere Materialien, bessere Konstruktion, mit 1/4 des Hubraumes und trotzdem mehr Power hin.

Wobei es natürlich richtig ist: Mehr Hubraum hat natürlich auch was für sich. Und damit meine ich nicht unbedingt den Mehrverbrauch an teurem Sprit. Aber was die reinen PS angeht stimmt der Spruch nicht mehr.

Jan
Mitglied der XUG Osnabrück
Mitglied der XUG Berlin/Brandenburg
Mitglied des Deutschsprachige Xbase-Entwickler e. V.
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Nein Jan

der Spruch stimmt noch immer.

Wenn du 2 Liter Hubraum optimierst kommst du niemals der selben Power wie wenn du 8 Liter Hubraum optimierst. Letzteres hat immer mehr Power ....
Valar Morghulis

Gruss Carlo
Benutzeravatar
brandelh
Foren-Moderator
Foren-Moderator
Beiträge: 15688
Registriert: Mo, 23. Jan 2006 20:54
Wohnort: Germersheim
Hat sich bedankt: 65 Mal
Danksagung erhalten: 33 Mal
Kontaktdaten:

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von brandelh »

Mein Megan Baujahr 2015 hat einen 1,6 L Turbo Diesel, der ab Werk flotter war als der abgelöste Baujahr 2011 mit 1,9 L Turbo Diesel, ob es bei allen so war weiß ich nicht.

Die neuen downsize Motoren leben vom Turbo Lader, ein 6 Liter Auto hatte früher eher keinen, aber dafür ein ausgewogenes Drehmoment von unten raus, viel angenehmer als hochgeladene Turbos ....
außer was Steuer und Spritverbrauch angeht :wink:
Gruß
Hubert
Benutzeravatar
HaPe
1000 working lines a day
1000 working lines a day
Beiträge: 995
Registriert: So, 15. Nov 2015 17:44
Wohnort: 71665 Vaihingen-Enz
Hat sich bedankt: 17 Mal
Danksagung erhalten: 15 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von HaPe »

Hallo Carlo !
Wenn du 2 Liter Hubraum optimierst kommst du niemals der selben Power wie wenn du 8 Liter Hubraum optimierst.
Naja.
Dem kann ich so nicht zustimmen, vor allem wenn du Ami-V8 mit zentraler Nockenwelle meinst.
Und Dragster-Motoren die nur 10 Sekunden halten müssen, kann man mit getunten Serien-/Straßenmotoren nicht vergleichen ...

Ok, ist jetzt aber off-topic :badgrin:
--
Hans-Peter
Benutzeravatar
Manfred
Foren-Administrator
Foren-Administrator
Beiträge: 21165
Registriert: Di, 29. Nov 2005 16:58
Wohnort: Kreis Wesel
Hat sich bedankt: 206 Mal
Danksagung erhalten: 67 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von Manfred »

sagen wir mal so, der Käfer hatte seiner Zeit viel zu viel Hubraum im Verhältnis zur PS Zahl. Deshalb ging der wohl auch nie kaputt. 1200 - 1300 ccm und 34 PS gegenüber einem R4 der auch 34 PS hatte, aber irgendwas mit 750-800ccm. Deswegen zog der R4 auch keinen toten Fisch vom Teller. Das hat mich immer so geärgert, wenn ein Käfer mich am Berg abgezogen hat wie einen nassen Pommes. Und das bei 120km/h. Was war das ärgerlich damals. :banghead:
Gruß Manfred
Mitglied der XUG Osnabrück
Schatzmeister des Deutschsprachige Xbase-Entwickler e.V.
großer Fan des Xbaseentwicklerwiki https://wiki.xbaseentwickler.de/index.p ... Hauptseite
Doof kann man sein, man muß sich nur zu helfen wissen!!
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hi,

Hubraum ist zwar gut für die Leistung aber das Gewicht spielt eine gross Rolle bei PS/Kg.

das ist ja auch das Problem der e-Mobile das die paar hundert Kg zusätzlich rum schleppen [-X
mit H2 wären es nur 7 Kg (+ Behälter) die für 500 Km reichen.

---

was macht ein Media-Server : Audio und Video als Stream

bei Audio braucht man keine Power und Video hängt vom Codec ab. nun haben die modernen CPUs h264 und ab Kaby Lake auch h265 also kein Problem.

Backup ist eine externe HDD aber bei den Medien "ändern" sich wenig Daten ... nur paar neue kommen dazu.

---

wenn es vorher mit DBF funktioniert hat gibt es keinen Grund das es mit PostgreSQL nicht ausreicht wenn die Zugriff Zeit < 1 Sec ist. wenn man nicht auf die Zeiten kommt ist es nicht Schuld der Hardware sondern der Software und darum geht es in diesem Thread.

das "upsize" ist der erster Schritt wenn man mit SQL arbeiten will.
Ich vergleiche nun die "nächsten" Schritte welches "RDD" Konzept am besten passt und wie schnell die sind.

---

Alaska ist nicht der erste der sich über eine ISAM-Emu bei SQL Gedanken macht.
es gibt diverse Konzepte und eine "RDD" ( = DBE) selbst zu schreiben gibt natürlich andere Möglichkeiten.

bei gegebene Leistung (CPU) ist das Gewicht (Code Zeilen) entscheidend und PgDBE ist "zu fett"
wie bei den modernen Autos treiben die Extras das Gewicht nach oben und man braucht mehr Leistung (= Sprit) um die Masse zu beschleunigen.

Komfort statt Speed ... aber nicht wenn man im Wettbewerb steht wo nur der Speed zählt. (richtiges Ergebnis vorausgesetzt)

p.s. klar das ich mit xBase nie an die Geschwindikeit von C ran komme ... da brauche ich schon eine Warp-Engine :wink:
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Jimmy

ich hatte auch so meine Erlebnisse mit viel "Hubraum" damals gab es zum Glück höchstens analoge Motorelektronik ...

Meiner Meinung nach wird das mit den e-Auto mit der aktuellen Gangart nie Funktionieren damit wird jetzt nur gewaltig Geld vernichtet. Das einzige was Zukunft hat ist Wasserstoff und Brennstoffzellen. Nur mit dieser Technik kann schnell getankt werden und vorallen ist die Energie auch lang speicherbar vom Sommer in den Winter oder länger.

---

Als Medienserver benötigts du doch Hauptsächlich 3 Funktionen

- Speichern der Inhalte
- Anzeige und Suche
- Abspielen

Wenn du schon mal auf PG gewechselt hast ist auch Volltextsuche in grossen Datenbeständen kein allzugrosses Probleme mehr.
Da kannst du nicht mehr allzuviel optimieren bezw. es macht keinen grossen Sinn mehr. Auch die "fette" ISAM PG ist noch immer genug schnell für 1 Abfrage pro Sekunde.

Mir selbst ist es viel wichtiger ein Dateisystem zu haben welches Dateidefekte erkennen und beheben kann. (SCRUB)

Ich sehe das Problem der low cost Mini Server beim viel zu keinen Speicherplatz da hat ja nicht viel Platz.
Valar Morghulis

Gruss Carlo
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

hi,

wenn man viele "Bewegungsdaten" hat ist Datensicherheit ganz oben auf der Liste.
beim den Media Server verbleibt AUDIO meist auf der SSD aber VIDEO wird nach einiger Zeit gelöscht bzw. verschoben auf externe HDD.

den Zotac-Mini würde ich vergleichen mit einem NAS vergleichen wo einige Hersteller PostgreSQL, MySQL/MariaDB unterstützen.
bei den Preisen für eine 1 TB SSD kann man sich ein feines RAID System bauen was für ein Büro (< 10 User) reichten sollte.

bei den neuen Ryzen 3000 kommt ja PCIe v4.x und bei den 570 Mainboards (mit Lüfter/Spannungswandler) kann man 3 x NVM mit PCIe v4.x laufen lassen.
auch haben die Mainboards dann meisten 2,5 GB LAN was sich inzwischen in der Gamer Scene etabliert hat.

---

was das Thema Daten Mengen angeht ist man durch Xbase++ eh auf max. 4 GB bei 32 Bit beschränkt.

man kann wohl eine PG-Table > 4 GB "öffnen" aber wenn das Result-Set einen Pointer enthält der > 32 Bit ist wird es wohl nichts mit dem "Zugriff"
ich benötige also eine (schnelle) 64 Bit App ... und daran arbeite ich.
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

AUGE_OHR hat geschrieben: Do, 29. Aug 2019 23:52 was das Thema Daten Mengen angeht ist man durch Xbase++ eh auf max. 4 GB bei 32 Bit beschränkt.
man kann wohl eine PG-Table > 4 GB "öffnen" aber wenn das Result-Set einen Pointer enthält der > 32 Bit ist wird es wohl nichts mit dem "Zugriff"
ich benötige also eine (schnelle) 64 Bit App ... und daran arbeite ich.
Hallo Jimmy

ich denke du verwechselst hier Hauptspeicher mit Datenbankgrösse. Ich habe mehrere sehr grosse Datenbanken > 12 GB und damit beim Zugriff mit Xbase noch nie Probleme gehabt. Das Resultatset hat ja keinen Memory Pointer sondern solche auf die Reihe und Spalte.

Ich habe beim Projekt Media-Server immer 2 Probleme: Windows ist beteiligt und die benötigte HDD Kapazität lässt sich mit den kleinen Rechnern nicht mal im Ansatz abdecken.

Ich würde für so ein Projekt am liebsten Windows eliminieren. Leider gibt es Xbase nicht für FreeBSD bezw. die Programme können damit nicht verwendet werden. WINE lief früher mal ist aber auch keine Variante weil dazu zuviel Overhead installiert werden muss.
Valar Morghulis

Gruss Carlo
Benutzeravatar
brandelh
Foren-Moderator
Foren-Moderator
Beiträge: 15688
Registriert: Mo, 23. Jan 2006 20:54
Wohnort: Germersheim
Hat sich bedankt: 65 Mal
Danksagung erhalten: 33 Mal
Kontaktdaten:

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von brandelh »

Was Jimmy vermischt ist die maximale Größe einer DBF - die durch die Tatsache dass der LOCKOFFSET die oberen 2 GB der maximalen Dateigröße von 4 GB belegt, und andere Dateitypen oder auch einem SQL-Server, der sich selbst um seine Daten kümmert - beide haben diese Größenbegrenzung (auf NTFS) nicht.

Dass ein 32 BIT System mit 64 Bit Zeigern und Zahlen (intern aufgeteilt in 2 Registern) umgehen kann, sieht man an der Tatsache,
dass weder eine RAW Datei noch eine FPT (Fox Memo Datei) bei aktuellen Versionen auf NTFS Filesystemen an die 4 GB Grenze gebunden sind.
Auch die Fließkommazahlen sind nicht an 32 Bit Grenzen gebunden.

Die Begrenzung begrifft also nur die DBFDBE und die FOXDBE, wobei man dieser das auch hätte beibringen können,
wenn man den LOCK Mechanismus von den logischen Satzsperren mit Offset umgestellt hätte,
allerdings wäre dadurch auch die Kompatibilität verloren gegangen.
Gruß
Hubert
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

ramses hat geschrieben: Fr, 30. Aug 2019 8:34
AUGE_OHR hat geschrieben: Do, 29. Aug 2019 23:52 Das Resultatset hat ja keinen Memory Pointer sondern solche auf die Reihe und Spalte.
JA ... und wenn die ROW bei > 2^32 liegt :?:
mit 4 GB meine ich NICHT die absolute Grösse die ja einige TB sein könnte ...
gruss by OHR
Jimmy
ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2513
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 12 Mal
Danksagung erhalten: 77 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von ramses »

Hallo Jimmy

Theoretisch ist die Anzahl möglicher Datensätze (Row's) unendlich.

Wie und ob der xbase Wrapper mit solch hohen Zahlen umgeht weiss ich auch nicht.

Anhand der DOC geht es nicht!
Because it returns an integer result, large result sets might overflow the return value on 32-bit operating systems.
Das wäre ein Versuch wert und natürlich dann auch ob die PGDBE dies schafft.

Bei einem Media Server wird die Datenbank wohl kaum je so gross werden. Besonders da ja auch der Festplatten Speicherplatz sehr limitert ist.
Valar Morghulis

Gruss Carlo
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

ramses hat geschrieben: Fr, 30. Aug 2019 21:14
Because it returns an integer result, large result sets might overflow the return value on 32-bit operating systems.
Das wäre ein Versuch wert und natürlich dann auch ob die PGDBE dies schafft.
wie schon gesagt hat 32 Bit seine Grenzen.

ich versuche mich ja ausserhalb der Grenzen mit 64 Bit und brauche wohl dann auch die 64 Bit DLL (vom PG-Server \BIN)
ramses hat geschrieben:Bei einem Media Server wird die Datenbank wohl kaum je so gross werden.
wer sagte noch mal

"640 Kb wird man nie ausnutzen ..." :lol:
es gibt ja schon eine 4 TB SSD (mit QLC Bausteinen) und ausser A/V sind da ja noch die Bilder aus dem Urlaub ...

es ist mehr eine "Fingerübung" wie das klappt mit dem PG-Server statt DBF und 64 Bit Apps.
gruss by OHR
Jimmy
Benutzeravatar
AUGE_OHR
Marvin
Marvin
Beiträge: 12903
Registriert: Do, 16. Mär 2006 7:55
Wohnort: Hamburg
Hat sich bedankt: 19 Mal
Danksagung erhalten: 44 Mal

Re: Xbase++ und PostgreSQL Server im (low Cost) Netzwerk.

Beitrag von AUGE_OHR »

ramses hat geschrieben: Fr, 30. Aug 2019 21:14
Because it returns an integer result, large result sets might overflow the return value on 32-bit operating systems.
Das wäre ein Versuch wert und natürlich dann auch ob die PGDBE dies schafft.
wie schon gesagt hat 32 Bit seine Grenzen.
ramses hat geschrieben: Wie und ob der xbase Wrapper mit solch hohen Zahlen umgeht weiss ich auch nicht.
nun ... bei 64 Bit rede ich nicht mehr von Xbase++ und auch ot4xb kann keine Wunder vollbringen.

---

es gibt xBase Alternativen wobei es bei GUI immer das Problem von vorhandenen Xbase++ Code gibt.
um die PG-Schnittstelle zu nutzen brauche ich erst mal kein GUI.

der Wrapper von Phil / ot4xb geht ja auf die PQ* API Befehle
ich habe eine Libpq also kann ich die PQ* API Befehle "direkt" benutzten und muss nicht über einen Wrapper gehen.

es gibt aber einen Wrapper als CLASS TPQServer und auch eine PGRDD. wie schon gesagt bin ich noch am testen
ich versuche mich ja ausserhalb der Grenzen mit 64 Bit mit den 64 Bit DLL (vom 64 Bit PG-Server \BIN)
ramses hat geschrieben:Bei einem Media Server wird die Datenbank wohl kaum je so gross werden.
wer sagte noch mal

"640 Kb wird man nie ausnutzen ..." :lol:
es gibt ja schon eine 4 TB SSD (mit QLC Bausteinen) und ausser A/V sind da ja noch die Bilder aus dem Urlaub ...

es ist mehr eine "Fingerübung" wie das klappt mit dem PG-Server statt DBF und 64 Bit Apps.
gruss by OHR
Jimmy
Antworten