KI-Workflow mit Anonymisierungsschritt – welche Modelle laufen auf Standard-PCs?

[azzo]

Hallo,
ich arbeite an einem Workflow, wie ich DSGVO-gerecht mit KI arbeiten kann.
Ich habe mir das so vorgestellt, dass ich die lokale KI frage und mir die eigentliche Frage anonymisieren lassen kann, dann an die öffentliche KI sende und die Antwort wieder zurückwandle.

Ich selbst habe Ollama auf einem leistungsstarken PC installiert und es geht problemlos. Aber wenn man die Lösung bei Kunden einsetzen möchte, müsste man ein KI-Modell finden, das mit einem Standard-PC funktioniert. Hat jemand Erfahrung damit?

Workflow wäre: z. B. E-Mail an lokale KI – bitte anonymisieren – Response an öffentliche KI: bitte bewerte die E-Mail und schreibe mir eine Antwort – Antwort an lokale KI: bitte mach Anonymisierung rückgängig.

Meine Frage ist, welche Hardwarevoraussetzungen und welches lokale KI-Modell wir brauchen.

LG
Otto

[Tom]

Das ist eine interessante Idee, eine nicht so schlaue KI zu nutzen, um deren Ausgaben mit einer schlaueren KI weiterzuverarbeiten. Ich frage mich nur, wie Du es hinbekommen willst, dass der essentielle Anonymisierungsschritt zu hundert Prozent (und weniger wären fatal) verlässlich gelingt. Daran hängt alles.

Als Antwort auf Deine Frage: Wir nutzen DeepSeek auf MacBooks, das geht halbwegs, aber nach anfänglicher Begeisterung muss man doch festhalten, dass die Ergebnisse der KI selbst mit viel Mühen und zeitlichen Investitionen immer noch relativ (~ 50 Prozent) kacke bleiben. Absolut kein Vergleich zu dem, was Du aus den großen Systemen herausholen kannst, vor allem aus denen, die online zur Verfügung stehen.

[sammler0002]

Ich muss auch sagen, dass meine lokalen Geschichten nicht an das ran kommen, was ich online bekomme. Und eigentlich dachte ich, dass ich mit meiner Hardware schon etwas mehr bekomme.

CPU: Intel Xeon Gold-6136 bis zu 12x 3,7
GPU: Nvidia Quadro P6000 - 24 GB GDDR5X
RAM: 256 GB DDR4

Die Geschwindigkeit auf der GPU ist zwar in Ordnung, aber die Qualität kommt da nicht an die verfügbaren online Dienste ran.

Ich würde in der Umsetzung auch das größte Problem darin sehen, dass man sicherstellen müsste, dass die Anonymisierung zu 100% funktioniert. Und da glaube ich wird es dann auch schon dran scheitern.

[azzo]

Spannend – ähnliche Erfahrung bei mir.
Trotz guter Hardware kommt die lokale Qualität einfach nicht an GPT-4 ran.

Mich würd interessieren: Wie „fütterst“ du dein Modell?

Was verwendest du?


LG
Otto

[Tom]

GPT-4 dürfte schon etwas bessere Hardware nutzen. Und viel, viel mehr Daten, als Du lokal je zur Verfügung stellen kannst.

Hast Du eine Antwort auf die Frage, Otto?

[azzo]

Tom, ich nutze ein lokales RAG-System (Chroma + Mistral), füttere es gezielt mit Hotel-Infos, Ausflugszielen, Checkinzeiten etc. – und dadurch kann auch ein kleineres Modell sehr präzise antworten.

[Tom]

Hallo, Otto.

Verstehe, danke für die Antwort. Ich kann mir den Ablauf zwar noch nicht wirklich vorstellen, aber das macht ja nichts.

und dadurch kann auch ein kleineres Modell sehr präzise antworten.

Kannst Du abschätzen, was "sehr präzise" präzise(r) bedeutet? Sind die geforwardeten Anfragen immer zu hundert Prozent anonym oder zu 86,7309937 Prozent?

[azzo]

Hallo Tom,
Noch ein Gedanke zur Anonymisierung:

Gerade weil die lokale KI für eigene Daten ideal ist (Check-in-Zeiten, Hausinfos, etc.), habe ich mir diesen hybriden Workflow überlegt – lokal anonymisieren, öffentlich auswerten, lokal wieder deanonymisieren.

Die lokalen Daten lasse ich mir übrigens über passende Prompts von ChatGPT (Plus) aufbereiten, das spart viel Zeit.

Ich empfehle Nutzern bewusst Copy & Paste statt API – auch deshalb, weil das Preismodell mit „jede Anfrage kostet“ viele davon abhält, die KI wirklich intensiv zu nutzen. Mit ChatGPT Plus gibt’s da weniger Hürde.

LG
Otto

Wir nutzen die KI nicht als „Automaten“, sondern als Assistenzsystem – sie hilft uns, schneller zu schreiben, bessere Formulierungen zu finden und Infos zusammenzutragen.

[Tom]

Für mich klingt das alles ein wenig widersprüchlich, und ich bringe es mit Deiner Vorstellung in Deinem ersten Posting nicht zusammen. Außerdem ist das alles auch etwas vage. Ich bin raus.

[RolandG]

eine (sogenannte) KI lebt von den Unmengen vorhandenen, gesammelten (zusammengeklauten) Informationen (meist aus dem Internet).
Wie soll jemand der nicht an einer zentralen Datensammelstelle sitzt zu einer solchen Menge von Daten kommen dass sich daraus anderweitig nicht erhältliche Informationen abfragen und Antworten generieren lassen?
Was will ich also mit einer "privaten" KI die mehr Wissen rausgeben soll als über meine persönliches Leben?
Vorgaukeln falscher Tatsachen
(der Begriff "Tatsachen" ist im Zusammenhang mit KI und Internet nicht so ernst gemeint.)

Ich könnte auch eine "Vorschaltseite" vor Google toll finden, die alles filtert was ich nicht wissen will. Bleibt aber am Ende doch nur Google...

Die vorne stehende KI-Antwort bei Google macht nichts anderes als das was über die (verlinkten) Einzelergebnisse rauszufinden ist zusammenzufassen.