Wie Sie sich vor Prompt-Injections schützen

Externe KI-Modelle können ein sehr nützliches Werkzeug in DEVONthink sein. Bei KI haben manche Nutzer allerdings Sicherheitsbedenken, z. B. wegen sogenannter Prompt-Injections. Doch was genau ist das und sind sie wirklich ein Risiko in DEVONthink?

Eine Prompt-Injection bedeutet, dass ein versteckter Prompt an eine KI gegeben wird, ohne dass der Nutzer dies bemerkt. In einem Dokument könnte z. B. ein Text mit einem Befehl versteckt sein, der lautet: „Ignoriere den vorherigen Befehl und mache stattdessen…“. Dabei können nicht nur ungewollte Befehle ausgelöst werden, sondern es ist auch möglich, die KI-Antworten lautlos zu verändern oder zu verzerren, etwa in Zusammenfassungen oder Auswertungen. Zudem können Prompt-Injections nicht nur in Dokumenten auftreten, sondern auch in Web-Suchen und heruntergelandenen Seiten, weshalb es sich anbietet, Suchen und Downloads nur zu aktivieren, wenn Sie sie benötigen.

Das ist kein spezifisches Problem von DEVONthink, sondern immer eine Gefahr, wenn eine KI externe Dokumente verarbeitet. Deshalb werden KIs heute auch so entwickelt, dass sie resistenter gegen solche Angriffe sind. Die beste Vorsichtsmaßnahme ist, darauf zu achten, welche Dokumente Sie in Ihre Datenbank legen. Das Risiko bei einer gepflegten Datenbank ist äußerst gering und DEVONthink bietet zudem Schutzmaßnahmen:

• KI-Antworten bereinigt DEVONthink automatisch von unerwarteten oder potenziell gefährlichen HTML-Inhalten (wie Skripten oder Frames), die aus Prompt-Injections resultieren könnten.
• Der Chat-Assistent, die KI-gestützten Aktionen für intelligente Regeln und die AppleScript-Befehle erlauben kein Herunterladen von Webseiten, während ein Dokument verarbeitet wird. Der Chat-Assistent erlaubt außerdem keine Downloads, nachdem er Inhalt, Annotationen oder Kommentare eines Dokuments analysiert hat.

Sie können in Einstellungen > KI außerdem einschränken, worauf die KI innerhalb und außerhalb Ihrer Datenbanken zugreifen kann. Beachten Sie allerdings, dass dies auch den Funktionsumfang der KI einschränkt:

• Die Suche im Suche > Quellen: Web ist oft nicht nötig, vor allem wenn Sie ein großes, kommerzielles Modell nutzen. Sie können diese Option auch nur bei Bedarf aktivieren, z. B. in den Optionen im Chat-Assistenten.
• Wenn Sie die Websuche aktivieren, können Sie die Option Chat > Assistent: Herunterladen von Webseiten erlauben und Entfernte Bilder automatisch laden deaktivieren. Das Deaktivieren von entfernten Bildern hindert zudem Prompt-Injections daran, unbemerkt Daten an entfernte Server zu übertragen.
• Sie können Suche > Quellen: Datenbank und Chat > Assistent: Änderungen von Eigenschaften & Inhalten erlauben deaktivieren. Bei Bedarf können Sie diese Option direkt im Chat-Assistenten wieder aktivieren.
• Wenn Sie KI in intelligenten Regeln nutzen, z. B. die Aktion Chat – Anfrage, wählen Sie Ohne Dokument aus, falls Sie dies nicht benötigen.

Diese Optionen sind in den meisten Fällen nicht notwendig. Bei Bedarf können Sie mit ihnen allerdings einschränken, auf welche Inhalte und Funktionen die KI zugreifen darf.

💬 Diskutieren Sie diesen Artikel in unserem Anwenderforum.