Geht Dubletten Suche mit SQL einfacher ?

Alles zum SQL-Dialekt

Moderator: Moderatoren

Antworten
Benutzeravatar
brandelh
Foren-Moderator
Foren-Moderator
Beiträge: 15688
Registriert: Mo, 23. Jan 2006 20:54
Wohnort: Germersheim
Hat sich bedankt: 65 Mal
Danksagung erhalten: 33 Mal
Kontaktdaten:

Geht Dubletten Suche mit SQL einfacher ?

Beitrag von brandelh »

Hi,

ich habe die Woche ein Programm geschrieben, das in einer XLSX Datei (38.000 Zeilen) nach Dubletten gesucht und in einer eigenen Spalte diese markiert hat.

Bedingung:

Sortiert nach Geburtsdatum, Name und Sachkonto ... wobei nicht alle Einträge von Sachkonto relevant sind (also ein Teil ausgefiltert werden muss)
War das doch schon etwas kniffelig, ich habe mich gewundert warum Excel das nicht per Funktion anbietet (Dubletten anzeigen) ...

Im nachhinein wäre es schneller und für mich einfacher gewesen die Basis CSV-Dateien in eine DBF einzulesen, aber nun frage ich mich, ob es in SQL dafür einen eleganteren Weg gäbe ?
Gruß
Hubert
georg
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 2823
Registriert: Fr, 08. Feb 2008 21:29
Hat sich bedankt: 95 Mal
Danksagung erhalten: 13 Mal

Re: Geht Dubletten Suche mit SQL einfacher ?

Beitrag von georg »

Hallo, Hubert -


das geht z.B. so:

Code: Alles auswählen

SELECT
    name, email, COUNT(*)
FROM
    users
GROUP BY
    name, email
HAVING 
    COUNT(*) > 1
Ich brauche das sehr selten, daher vergesse ich immer wieder, wie es gemacht wird, aber eine einfache Suche

Code: Alles auswählen

sql find duplicates
bei Google bringt genügend Tipps, wie man das machen kann.

Das Beispiel stammt von https://stackoverflow.com/questions/259 ... -sql-table
Liebe Grüsse aus der Eifel,

Georg S. Lorrig
Redakteur der Wiki des Deutschprachigen Xbase-Entwickler e.V.
Benutzeravatar
brandelh
Foren-Moderator
Foren-Moderator
Beiträge: 15688
Registriert: Mo, 23. Jan 2006 20:54
Wohnort: Germersheim
Hat sich bedankt: 65 Mal
Danksagung erhalten: 33 Mal
Kontaktdaten:

Re: Geht Dubletten Suche mit SQL einfacher ?

Beitrag von brandelh »

Hallo Georg,

danke für den Hinweis, im Internet sind tatsächlich viele Beiträge dazu zu finden (hätte ich gleich drauf kommen können) und eine Zählung auf mehr als 1 ... eigentlich offensichtlich :oops:
Gruß
Hubert
Benutzeravatar
nightcrawler
1000 working lines a day
1000 working lines a day
Beiträge: 650
Registriert: Di, 24. Apr 2012 16:33
Wohnort: 72184 Weitingen
Hat sich bedankt: 3 Mal
Danksagung erhalten: 96 Mal
Kontaktdaten:

Re: Geht Dubletten Suche mit SQL einfacher ?

Beitrag von nightcrawler »

Hallo Hubert,
bei Dubletten ist oft die Ähnlichkeit wichtiger als die exakte Gleichheit. Hier wird in SQL gerne die Funktion SoundEx verwendet, welche aber für Englisch optimiert ist. Für Deutschland besser ist die Kölner Phonetik, welche ich auch mal für ADS umgesetzt habe: https://www.jd-engineering.de/german-so ... mentation/
--
Joachim
Joachim Dürr Softwareengineering
https://www.jd-engineering.de
Antworten