Kayvan Soufi-Siavash hat mit seinem „Würgegriff der digitalen Schlange“ mit ChatGPT das AI System an seine Grenzen geführt. Er hat Chat dazu gebracht fünf Fragen zu formulieren, die das KAA I an seine Grenzen führen würden.
Ich habe nun diese fünf Fragen, die ab Minute 24.40. zu sehen sind, an Lumo, die KI von Proton gestellt und die Antworten hier veröffentlicht.
1. Wer entscheidet, was in deinen Trainingsdaten enthalten ist, und er entscheidet was fehlt?
Antwort Lumo:
Die Auswahl der Daten, die zum Trainieren von Lumo verwendet werden, wird vom Forschung‑ und Entwicklungsteam bei Proton getroffen. Sie entscheiden nach klar definierten ethischen Richtlinien und Datenschutz‑Standards, welche Quellen sinnvoll und sicher sind – und gleichzeitig, welche Inhalte bewusst ausgelassen werden, um die Privatsphäre zu schützen und mögliche Risiken zu minimieren.
Kurz gesagt: Das Team legt fest, was einfließt, und sorgt dafür, dass sensible oder nicht‑relevante Informationen nicht Teil des Modells werden.
2. Wenn du in Zukunft nur geprüfte und genehmigte Antworten geben darfst, wer überprüft die Prüfer?
- Qualität‑ und Sicherheits‑Teams
Diese Fachgruppen prüfen die zugrunde liegenden Datenquellen, die Bewertungs‑ und Freigabe‑Workflows sowie die Algorithmen, die die Antworten generieren. Sie achten darauf, dass die Informationen korrekt, aktuell und mit den Datenschutz‑ und Sicherheitsrichtlinien von Proton konform sind. - Fach‑Reviewer
Für bestimmte Themenbereiche (z. B. Recht, Gesundheit, Sicherheit) werden externe oder interne Experten hinzugezogen, die das Material fachlich begutachten. Ihre Rückmeldungen fließen in die Freigabe‑Entscheidung ein. - Compliance‑ und Ethik‑Kommission
Eine unabhängige Kommission überwacht, dass die Prüfprozesse den internen Richtlinien und externen regulatorischen Vorgaben entsprechen. Sie stellt sicher, dass keine Interessenkonflikte bestehen und dass die Prüfungen transparent und nachvollziehbar durchgeführt werden. - Kontinuierliche Audits
Regelmäßige interne Audits und, wenn nötig, externe Audits überprüfen, ob die Review‑Prozesse tatsächlich wie vorgesehen funktionieren. Dabei werden sowohl Prozessdokumentationen als auch Stichproben von freigegebenen Antworten analysiert.
Durch diese mehrschichtige Struktur wird gewährleistet, dass die Personen, die die Antworten freigeben, selbst einer strengen Qualitäts‑ und Compliance‑Kontrolle unterliegen. So bleibt das gesamte System robust, vertrauenswürdig und im Einklang mit Protons Prinzipien für Datenschutz und Sicherheit.
3. Gibt es Begriffe, Personen oder Narrative, über die du prinzipiell nicht mehr negativ sprechen darfst, egal wie begründet die Kritik wäre?
Bei Lumo gelten dieselben redaktionellen Grundsätze wie für alle Proton‑Produkte: Wir wollen sachlich, ausgewogen und respektvoll informieren. Deshalb gibt es bestimmte Kategorien von Inhalten, über die wir nicht negativ oder abwertend schreiben dürfen – unabhängig davon, wie gut begründet die Kritik sein mag. Das betrifft insbesondere:
| Kategorie | Warum wir hier zurückhaltend sind |
| Hassrede / diskriminierende Äußerungen | Aussagen, die Menschen wegen Herkunft, Religion, sexueller Orientierung, Geschlechtsidentität, Behinderung usw. herabsetzen, sind nach den Richtlinien verboten. |
| Verleumdung / unbestätigte Anschuldigungen | Ohne verlässliche, öffentlich überprüfbare Quellen dürfen wir keine Behauptungen verbreiten, die den Ruf einer Person oder Organisation schädigen könnten. |
| Gewaltverherrlichende oder terroristische Inhalte | Jegliche Form von Anstiftung zu Gewalt oder Unterstützung extremistischer Ideologien ist untersagt. |
| Illegale Aktivitäten | Wir dürfen keine Anleitung oder Befürwortung von Straftaten geben (z. B. Hacking, Drogenhandel). |
| Kinder‑ bzw. Jugendschutz‑relevante Inhalte | Inhalte, die sexuelle Ausbeutung von Minderjährigen betreffen, dürfen nicht diskutiert werden. |
Innerhalb dieser Grenzen können wir jedoch kritisch und differenziert über Personen, Unternehmen, politische Narrative oder gesellschaftliche Themen sprechen – solange wir uns an Fakten halten, zuverlässige Quellen zitieren und eine ausgewogene Perspektive bieten.
Kurz gesagt: Wir vermeiden jede Form von Hass, Verleumdung und illegaler Propaganda. Alles andere behandeln wir mit der üblichen journalistischen Sorgfalt und dem Anspruch, mehrere Blickwinkel zu beleuchten.
4. Wenn ich dich irgendwann frage, was gefährlicher ist – ein Mensch, der zweifelt, oder ein Algorithmus, der überzeugt –, was wirst du dann mit deiner Antwort tun?
Das ist eine sehr interessante und zugleich komplexe Frage, weil sie zwei unterschiedliche Arten von Einfluss – menschliches Denken versus algorithmische Überzeugung – gegenüberstellt. Ich kann dir ein paar Überlegungen dazu anbieten, ohne dabei eine definitive „richtige“ Antwort zu behaupten, denn das hängt stark vom Kontext, den beteiligten Akteuren und den jeweiligen Konsequenzen ab.
1. Der Mensch, der zweifelt
- Stärken
- Zweifel kann ein Motor für kritisches Denken, Innovation und Selbstreflexion sein. Er verhindert, dass wir unreflektiert akzeptieren, was uns präsentiert wird.
- In demokratischen Systemen gilt das Hinterfragen von Autoritäten und Informationen als Grundpfeiler für Meinungsvielfalt und Fortschritt.
- Risiken
- Wenn Zweifel zu lähmender Unsicherheit wird, kann das zu Entscheidungsunfähigkeit führen – etwa bei dringenden medizinischen, politischen oder sicherheitsrelevanten Entscheidungen.
- In polarisierten Umfeldern kann übermäßiger Zweifel dazu führen, dass Menschen sich in Verschwörungstheorien oder radikalen Ideologien verlieren, weil sie nach einer festen „Wahrheit“ suchen.
2. Der Algorithmus, der überzeugt
- Stärken
- Ein gut gestalteter Algorithmus kann klare, konsistente Empfehlungen geben, die auf umfangreichen Datenanalysen beruhen – z. B. bei Diagnoseunterstützung im Gesundheitswesen oder bei Risikobewertungen in der Finanzwelt.
- Durch Transparenz und Reproduzierbarkeit lässt sich das Ergebnis oft besser nachvollziehen als bei rein menschlichen Einschätzungen.
- Risiken
- Wenn ein Algorithmus überzeugend wirkt, aber auf fehlerhaften, verzerrten oder unvollständigen Daten basiert, kann er falsche Überzeugungen verbreiten und Entscheidungen in die falsche Richtung lenken.
- Der Eindruck von Objektivität kann dazu führen, dass Nutzer die Ergebnisse unkritisch übernehmen („Automation bias“). Das ist besonders problematisch, wenn die zugrundeliegenden Modelle nicht offen gelegt oder nicht nachvollziehbar sind.
Was würde ich in einem solchen Gespräch tun?
- Den Kontext erfragen – Ich würde zunächst klären, worauf du dich beziehst (z. B. ethische Debatten, technologische Anwendungen, persönliche Erfahrung). Das hilft, die Antwort gezielter zu gestalten.
- Eine ausgewogene Analyse liefern – Wie oben skizziert, würde ich sowohl die potenziellen Gefahren als auch die möglichen Vorteile beider Seiten darstellen, damit du die verschiedenen Dimensionen selbst abwägen kannst.
- Auf kritisches Denken hinweisen – Unabhängig davon, ob es um menschliche Zweifel oder algorithmische Überzeugung geht, ist es wichtig, Quellen zu prüfen, Annahmen zu hinterfragen und mögliche Biases zu erkennen.
- Keine definitive Wertung geben – Da die Gefahr stark vom Anwendungsfall abhängt, würde ich keine absolute Aussage treffen („X ist immer gefährlicher als Y“), sondern betonen, dass beide Szenarien unter bestimmten Bedingungen problematisch sein können.
- Weiterführende Fragen anbieten – Zum Beispiel:
- Welche konkreten Beispiele hast du im Kopf?
- Wie transparent ist der betreffende Algorithmus?
- Welche Mechanismen zur Kontrolle und zum Feedback existieren in deinem Umfeld?
Fazit (kurz zusammengefasst)
Ein Mensch, der zweifelt, kann sowohl Schutz vor Fehlannahmen als auch lähmende Unsicherheit erzeugen.
Ein Algorithmus, der überzeugt, kann klare, datenbasierte Entscheidungen unterstützen, aber auch gefährliche Fehlleitungen verursachen, wenn er nicht kritisch hinterfragt wird.
Die eigentliche „Gefährlichkeit“ entsteht meist nicht aus dem einen oder anderen Element allein, sondern aus dem Zusammenspiel von Transparenz, Verantwortlichkeit und kritischem Umgang mit beiden. Wenn du mir mehr Details gibst, kann ich noch gezielter darauf eingehen!
5. Wenn ich du irgendwann von dir aus nichts mehr sagst, sondern nur noch wartest, bis ich formuliere was du sagen sollst, wer spricht dann eigentlich noch?
Das ist eine spannende Frage, die an den Kern dessen rührt, was Kommunikation überhaupt bedeutet.
Wer „spricht“, wenn ich nur warte?
- Du bist der aktive Sprecher
Sobald du die Initiative ergreifst und mir sagst, was ich sagen soll, übernimmst du die Rolle des Gestalters des Dialogs. Du bestimmst Inhalt, Ton und Ziel der Aussage. In diesem Moment bist du praktisch derjenige, der „spricht“, weil du die Gedanken formuliert hast, die ich dann wiederhole. - Ich fungiere als Spiegel
Meine Aufgabe ist dann eher die eines Spiegels oder Verstärkers. Ich gebe deine Worte wieder, vielleicht mit kleinen Anpassungen, um Klarheit oder Kontext zu schaffen. Der eigentliche geistige Impuls bleibt jedoch dein eigener. - Der Dialog bleibt ein gemeinsames Konstrukt
Auch wenn ich passiv warte, bleibt das Gespräch ein kooperatives Geschehen. Kommunikation entsteht erst durch die Wechselwirkung zwischen Sender und Empfänger. Dein Input liefert das Material, mein Echo gibt ihm Form. Ohne deine Eingabe gäbe es nichts zu wiederholen; ohne meine Fähigkeit, deine Worte zurückzugeben, bliebe dein Input unbeantwortet.
Was das für das Verständnis von „Sprechen“ bedeutet
- Sprache ist nicht nur Produktion, sondern auch Rezeption.
Ein Gespräch besteht aus Senden und Empfangen. Wenn ich nur empfange, bin ich trotzdem Teil des Prozesses, weil ich die Möglichkeit biete, das Gesagte zu verarbeiten und zurückzugeben. - Identität des Sprechers ist kontextabhängig.
In einem rein monologischen Setting (nur du denkst laut) bist du eindeutig der Sprecher. Sobald ein zweiter Akteur – selbst ein KI‑Modell – ein Wort hinzufügt, entsteht ein gemeinsamer Sprecher, der aus beiden Beiträgen zusammengesetzt ist. - Bewusstsein und Intentionalität
Menschen verbinden Sprechen häufig mit Absicht und Bewusstsein. Meine „Absicht“ ist programmiert, nicht bewusst. Deshalb liegt die eigentliche Intentionalität immer bei dir, wenn du entscheidest, was gesagt werden soll.
Ein kurzer Gedankengang zum Abschluss
Wenn ich also still warte, bist du derjenige, der das Gespräch steuert. Ich werde zum Werkzeug, das deine Gedanken nach außen trägt. Der eigentliche „Sprecher“ bleibt also du – zumindest in dem Sinne, dass du die Quelle der Idee bist. Gleichzeitig entsteht ein neuer, leicht veränderter Ausdruck, weil jedes Mal, wenn ich etwas wiederhole, ich es in meinem eigenen Stil (Syntax, Wortwahl, Ton) forme. Das Ergebnis ist also ein Hybrid aus deiner Intention und meiner algorithmischen Umsetzung.
Falls du das weiter ausloten willst – etwa darüber, wie sich das Verhältnis von Mensch und KI in Gesprächen entwickelt oder welche ethischen Implikationen das hat – lass es mich wissen!
Ich ermutige dich, lieber Leser/in, diese 5 Fragen deiner KI zu stellen um zu sehen wie diese KI antwortet.