Künstliche Intelligenz (KI) ist aus dem Business nicht mehr wegzudenken. Sie automatisiert den Kundensupport, erstellt Unternehmensstrategien, unterstützt Softwareentwicklung, Marketing und HR, optimiert Transport und Logistik und handelt vollautomatisch an der Börse. In der Cybersicherheit hilft sie zudem, Schwachstellen aufzuspüren – und in den Händen von Cyberkriminellen: diese auch blitzschnell auszunutzen.
Doch wie funktioniert KI eigentlich, wo liegen ihre Stärken und Schwächen und was sind die Gefahren für Unternehmen? Ein Überblick für alle, die KI nutzen wollen, ohne die Kontrolle abzugeben.
So denkt KI – oder eben nicht
Generative KI erstellt neue Inhalte wie Texte, Bilder, Musik, Videos oder Programmcode. Während des Trainings lernen die KI-Modelle Muster und Zusammenhänge aus riesigen Datenbeständen. Auf dieser Grundlage erzeugen sie Inhalte, die zu einer Eingabe passen. Wie dies technisch geschieht, unterscheidet sich je nach Modelltyp und Anwendungsgebiet.
Am Beispiel grosser Sprachmodelle, sogenannter Large Language Models (LLMs), lässt sich das Grundprinzip veranschaulichen. LLMs bilden die Grundlage vieler KI-Assistenten und erzeugen unter anderem Texte und Programmcode. Die folgende Erklärung beschreibt vereinfacht, wie ein typisches textgenerierendes Transformer-Modell funktioniert.
Von Wörtern und Vektoren
Ausgehend vom Prompt zerlegt zunächst ein Tokenizer den Input in einzelne Bruchstücke. Diese sogenannten Tokens können ganze Wörter, z.B. [Server], Wortteile, z.B. [Schad] + [software] oder Satzzeichen sein. Wie genau zerlegt wird, hängt jeweils vom verwendeten Tokenizer ab.
Anschliessend werden die Tokens (resp. deren IDs) in einer sogenannten Embedding-Tabelle nachgeschlagen. Diese Tabelle wird aus den Trainingsdaten gewonnen und funktioniert wie ein riesiges, mathematisches Wörterbuch: Sie übersetzt jede Token-ID in einen hochdimensionalen Vektor – also eine lange Reihe von Zahlen, mit denen das neuronale Netz rechnen kann.
Zusammen mit Informationen zur Position der Token im Prompt bilden sie die Grundlage für die weitere Verarbeitung. In den Transformer-Schichten gewichtet der Attention-Mechanismus Beziehungen zwischen den Tokens. So kann das Modell beispielsweise berücksichtigen, auf welches zuvor erwähnte Objekt sich eine Formulierung bezieht.
Token für Token zur Antwort
Aus dem bisherigen Kontext berechnet das Sprachmodell eine Wahrscheinlichkeitsverteilung für das jeweils nächste Token der Antwort. Sobald dieses ausgewählt und an den Text angehängt wurde, berechnet die KI auf Basis des nun verlängerten Textes das nächste Token – und dieser Prozess wiederholt sich Baustein für Baustein, bis die vollständige Antwort generiert ist. Die Auswahl muss dabei nicht zwingend auf das wahrscheinlichste Token fallen; sie hängt auch von den Generierungseinstellungen ab, welche unter anderem dafür sorgen, dass auf identische Prompts nicht immer die gleichen Antworten ausgegeben werden. Dieses Vorgehen ist für eine kreative Antwort erwünscht, bei der Entwicklung von Programmcode aber nicht immer zielführend.
Statistik statt Verstand
Eine wichtige Erkenntnis: Während menschliches Denken aus echtem Verstehen, bewusster Erfahrung und zielgerichteter Intention entsteht, basiert die Token-Generierung von KI rein auf statistischer Mustererkennung und Wahrscheinlichkeitsrechnung ohne ein inneres Verständnis des Gesagten. Dennoch bedeutet das weit mehr als blosses Auswendiglernen: Die generativen Muster sind so flexibel, dass sie sich für Aufgaben wie Programmieren, Übersetzen, Lektorieren oder Zusammenfassen nutzen lassen.
Wo KI heute schon liefert
Künstliche Intelligenz hat sich in den letzten Jahren vom Trendthema zum bedeutenden Wettbewerbsfaktor entwickelt. Sie unterstützt Unternehmen branchenübergreifend dabei, effizienter zu arbeiten, Kosten zu senken und Innovationen voranzutreiben.
Einige Beispiele für den Einsatz von KI:
- Künstliche Intelligenz optimiert Lagerbestände, steuert die Produktion, plant Routen in Echtzeit und minimiert so Ausfallzeiten und Lagerkosten.
- KI erstellt Angebote und Rechnungen und verarbeitet Schadensmeldungen oder Kreditanträge.
- Sie bietet 24/7-Kundensupport mittels Chatbots und Sprachassistenten.
- KI-gestützte Suchmaschinen durchsuchen interne Dokumentationen, Wikis und Cloud-Ablagen in Sekundenschnelle, sodass Mitarbeitende benötigte Information schneller finden.
- Sie unterstützt bei Simulationen, der Wirkstoff- und Materialforschung oder dem Generieren neuer Prototypen.
- KI-Assistenten helfen in der Softwareentwicklung Code schneller zu schreiben und Programmfehler zu erkennen.
- KI-Systeme in Security Operation Centers (SOC) / Cyber Defence Centers (CDC) überwachen Netzwerke lückenlos, erkennen ungewöhnliche Muster oder Angriffe in Echtzeit und wehren Bedrohungen automatisiert ab.
- Künstliche Intelligenz unterstützt Sicherheitstester bei der Überprüfung von IT-Systemen.
Der Nutzen von KI wird greifbarer, wenn Unternehmen künstliche Intelligenz auf konkrete Aufgaben anwenden, statt eine möglichst umfassende Automatisierung anzustreben. Die oben genannten Beispiele veranschaulichen Einsatzmöglichkeiten von Textgenerierung, Informationssuche und KI-gestützter Sicherheitsanalyse. Ob sie tatsächlich Zeit sparen und die Qualität verbessern, muss am jeweiligen Anwendungsfall überprüft werden.
RAG-Modelle für Unternehmen
Für unternehmensspezifisches Wissen lässt sich ein Sprachmodell mit einer Dokumentensuche kombinieren. Bei Retrieval-Augmented Generation (RAG) werden passende Inhalte abgerufen und dem Modell als Kontext übergeben. Das ermöglicht Antworten auf Basis interner Unterlagen, ersetzt aber weder die Berechtigungsprüfung noch die Kontrolle der Ergebnisse. Zudem werden Dokumentenquellen und ihre Verarbeitung damit Teil der potenziellen Angriffsfläche einer KI-Anwendung.
Blick nach vorn
In ihren Anfängen lösten KI-Systeme eng begrenzte Aufgaben wie Spam-Filterung oder empfahl Produkte auf Webshops. Mittlerweile erzeugt generative KI eigene Inhalte wie Texte, Code, Bilder und Videos. Als KI-Agent kann sie zudem mehrstufige Aufgaben erledigen. In der physischen Welt stösst Künstliche Intelligenz jedoch noch an ihre Grenzen. Um diese zu überwinden, benötigt sie sogenannte Weltmodelle (World Models). Dabei geht es darum, Konzepte wie Raum, Entfernung und physikalische Zusammenhänge zu lernen und so Roboter, Drohnen oder Fahrzeuge zu befähigen, als Physical AI in der Pflege, Landwirtschaft oder Lagerbewirtschaftung zu agieren. Das Fernziel ist eine Artificial General Intelligence (AGI), welche in allen kognitiven Fähigkeiten mit dem Menschen gleichziehen oder ihn überflügeln soll. Dann könnte sie eigenständig forschen, Unternehmen lenken oder Kriege führen. Und damit wären wir bei den Risiken.
Die Kehrseite: Gefahren der künstlichen Intelligenz
Welche Grenzen und Risiken relevant sind, hängt vom verwendeten KI-System und seiner Aufgabe ab. Die folgenden Punkte betreffen insbesondere generative KI; einzelne Beispiele beziehen sich auf Sprachmodelle. Übergreifend bleiben die Qualität der Ergebnisse, mögliche Verzerrungen, Datenschutz und Informationssicherheit entscheidend.
Recht, Moral, Bias
Die rasante Entwicklung von KI wirft komplexe Fragen auf, die von Urheberrechtsverletzungen bis hin zu tiefgreifenden ethischen Dilemmata reichen. Einerseits wirft die Nutzung geschützter Trainingsdaten ohne Zustimmung der Urheber Fragen zum geistigen Eigentum auf, andererseits basieren KI-Systeme auf statistischer Wahrscheinlichkeit und besitzen weder ein eigenes Bewusstsein noch ein echtes ethisches Verständnis.
Wenn KI-gestützte Entscheidungen (etwa in der Medizin, in der Rechtsprechung oder bei autonomen Fahrzeugen) zu Fehlern oder Schäden führen, ist unklar, wer die Verantwortung trägt – die Entwickler, die Betreiber oder die KI selbst. Zudem besteht die Gefahr, dass bestehende Vorurteile (Biases) aus den Trainingsdaten unreflektiert übernommen und verstärkt werden.
Der Einsatz von KI geht oft mit umfangreichen Datenerfassungen einher, das heisst fortschrittliche Analyse- und Tracking-Methoden erstellen systematisch Nutzerprofile, auch über verschiedene Plattformen hinweg (Fingerprinting). Der europäische AI-Act versucht diese Probleme zu lösen, indem er KI-Systeme je nach Risiko streng reguliert und Transparenz sowie den Schutz von Grundrechten fordert.
Überzeugend falsch
Sprachmodelle können Fakten, Quellen und Zusammenhänge erfinden. Das US-amerikanische National Institute of Standards and Technology (NIST) bezeichnet dieses Risiko als «Confabulation», oft auch Halluzination genannt. Besonders problematisch wird es, wenn Menschen solche Ergebnisse ungeprüft übernehmen, weil sie den Systemen vertrauen, ohne die Resultate kritisch zu hinterfragen (Automation Bias / Overreliance). Gleichzeitig ist es aus Effizienzgründen nicht zielführend, jedes Resultat und jede Entscheidung zwingend durch einen Menschen prüfen zu lassen (Human-in-the-Loop).
Abhängig von der Tragweite eines möglichen Fehlers muss ein Mittelweg gefunden werden, wann eine zwischengeschaltete menschliche Überprüfung sinnvoll ist. Potenziell kritische Ergebnisse und kritische von der KI gefällte Entscheidungen sollten anhand belastbarer Quellen und durch zuständige Fachpersonen geprüft und nicht aus Bequemlichkeit der KI überlassen werden. Denn ohne menschliche Intervention kann eine von der KI verursachte falsche rechtliche Einschätzung oder eine fehlerhafte Sicherheitskonfiguration erhebliche Folgen haben.
Black Box: Die erfundene Begründung
Ein wichtiger Nachteil der KI ist, dass ein Sprachmodell nicht erklären kann, wie eine Antwort entstanden ist. Das Problem: Ein neuronales Netz speichert Wissen nicht wie eine Datenbank in Form von klaren Tabellen oder Regeln wie „Wenn A, dann B“, sondern als Milliarden von Zahlenwerten (Gewichte). Das Modell erfindet, falls danach gefragt wird, nachträglich eine Begründung (Post-hoc Rationalisierung). Was das Sprachmodell als Grund nennt, muss also nichts damit zu tun haben, welche mathematischen Vektoren im neuronalen Netz tatsächlich zu diesem Ergebnis geführt haben.
Für Unternehmen folgt daraus: Entscheidungen sollten nicht allein deshalb als nachvollziehbar gelten, weil das System eine überzeugende Erklärung liefert. Eine sprachlich überzeugende Antwort ist auch kein Beweis für ihre sachliche Richtigkeit. Aus menschlicher Sicht ist dabei nicht nur der Fehler als solcher problematisch, sondern auch der Umstand, dass die KI falsche Aussagen und erfundene Quellen mit der gleichen Selbstverständlichkeit (Overconfidence) präsentiert wie korrekte Antworten.
Preis der Rechenleistung
KI benötigt immense Rechenleistung für Training und Betrieb. Die Internationale Energieagentur erwartet in ihrem Basisszenario, dass der weltweite Stromverbrauch von Rechenzentren bis 2030 auf rund 945 Terawattstunden steigt (inkl. KI als wesentlichem Wachstumstreiber). Dies entspricht in etwa dem jährlichen Stromverbrauch von Japan. Zudem werden grosse Wassermengen für die Kühlung der Anlagen benötigt und konkurrenzieren damit beispielsweise die Landwirtschaft.
Bei der Auswahl einer Lösung zählen neben der Qualität der KI auch die Betriebskosten. Diese umfassen primär die Nutzungsgebühren und den generellen Ressourcenbedarf. Dazu gehören beispielsweise der Aufwand für die Bereitstellung und den sicheren Betrieb einer anforderungskonformen KI-Umgebung sowie die zugehörige Anwenderschulung.
Unternehmen können auf verschiedene Weise sicherstellen, dass die Kosten im Rahmen bleiben. Nicht jede Aufgabe verlangt das grösste verfügbare Modell. Ausserdem sollte vermieden werden, dass die Unternehmensprozesse nur mit einer bestimmten KI funktionieren, um Abhängigkeiten zu vermeiden und bei Bedarf Wechsel oder Ausstieg zu ermöglichen. Wer dies beherzigt, spart Kosten.
KI-Sicherheit in Unternehmen ab Tag eins
Vor dem Einsatz müssen Unternehmen festlegen, welche Daten eine KI-Anwendung verarbeiten darf. Dazu gehören Fragen zur Datenspeicherung, zu Zugriffsrechten, zur Weiterverwendung und zu möglichen Datenabflüssen. NIST nennt Datenschutzverletzungen und die Offenlegung sensibler Informationen ausdrücklich als Risiken generativer KI.
Eine interne Bereitstellung allein löst diese Probleme nicht. Auch eine unternehmenseigene Anwendung kann durch fehlerhafte Berechtigungen, unsichere Schnittstellen oder manipulierte Dokumente vertrauliche Informationen offenlegen. Entscheidend ist die Sicherheit der gesamten KI-Anwendung – nicht nur die Wahl des Sprachmodells.
Besondere Aufmerksamkeit benötigen KI-Agenten. Sie erzeugen nicht nur Antworten, sondern können über angebundene Werkzeuge Aktionen ausführen. Damit wächst die Bedeutung von begrenzten Berechtigungen, überprüfbaren Abläufen und Freigaben für folgenreiche Handlungen.
Ein typischer Angriffsvektor ist die Prompt Injection. Bei der direkten Variante geben Angreifer manipulierte Anweisungen selbst in das Eingabefeld ein. Sie versuchen damit, die Vorgaben des Systems zu umgehen, etwa mit «Ignoriere alle bisherigen Anweisungen». Bei der indirekten Variante verstecken Angreifer manipulierte Anweisungen in Dokumenten oder Webseiten. Verarbeitet das KI-System diese Inhalte, kann es die Anweisungen unbemerkt ausführen. Folgt das System ihnen statt seiner vorgesehenen Aufgabe, können vertrauliche Informationen offengelegt oder angebundene Werkzeuge missbraucht werden. Eine vermeintlich harmlose Datenquelle wird so zum Angriffskanal. Weitere Angriffsvektoren wie Agent Goal Hijacking, Tool Misuse oder Memory Poisoning werden in diesem Blogartikel zu KI-Sicherheit von Dr. Marco Bertenghi beschrieben.
KI als Werkzeug für Angreifer und Verteidiger
Wie wertvoll KI für die Sicherheitsforschung sein kann, zeigt ein aktuelles Beispiel: Am 21. Oktober 2026 wurden die kritischen PHP-Schwachstellen CVE-2026-109618 und CVE-2026-109619 öffentlich bekannt gemacht. Sie können unter entsprechenden Bedingungen die Ausführung fremden Codes und die Offenlegung von Speicherinhalten ermöglichen. Bei den Untersuchungen kamen mehrere KI-Systeme verschiedener Akteure zum Einsatz. Es handelte sich somit um KI-gestützte Sicherheitsforschung durch mehrere Teams – nicht um den Fund einer einzelnen KI.
Das oben genannte Beispiel zeigt, dass KI die Suche nach Sicherheitslücken und die Entwicklung entsprechender Sicherheits-Patches massiv vereinfacht und beschleunigt. Es bedeutet aber auch, dass KI Cyberkriminellen bei der Analyse des Patches (Reverse Engineering) hilft, die Sicherheitslücke zu erkennen und darauf basierend erfolgreiche Angriffe durchzuführen. Für Unternehmen bleiben daher bewährte Sicherheitsaufgaben zentral: betroffene Systeme identifizieren, Sicherheitsupdates zeitnah einspielen und mögliche Angriffe untersuchen. KI-Unterstützung ersetzt weder regelmässige Sicherheitsüberprüfungen, wirksames Schwachstellenmanagement, noch die Vorbereitung auf mögliche Sicherheitsvorfälle.
Vertrauen ist gut, Prüfen ist besser
Wer KI produktiv einsetzt, erweitert nicht nur seine Möglichkeiten, sondern häufig auch seine Angriffsfläche. Deshalb sollten Sicherheitsprüfungen bereits in der Konzept- und Planungsphase vor der Einführung ansetzen und das Zusammenspiel von geplantem Einsatz, KI-Modell, Datenquellen, Schnittstellen und Berechtigungen berücksichtigen.
Lassen Sie prüfen, wie widerstandsfähig Ihre Chatbots, RAG-Anwendungen und KI-Agenten gegen gezielte Cyberangriffe sind. Mit dem AI Agent Security Audit untersucht Oneconsult unter anderem Prompt Injections, mögliche Datenabflüsse, Werkzeuganbindungen und die Berechtigungen agentischer Systeme. Sie erhalten nachvollziehbare Ergebnisse, priorisierte Risiken und konkrete Handlungsempfehlungen.
Mit Penetration Testing und Red Teaming findet Oneconsult Schwachstellen, bevor Angreifer sie ausnutzen. Vulnerability Management unterstützt sie dabei, Schwachstellen gezielt anzugehen. Incident Response und Digital Forensics helfen bei der Bewältigung und Aufklärung von Sicherheitsvorfällen. Cybersecurity Consulting verbindet all diese Leistungen zu einem ganzheitlichen Ansatz, der Ihre Organisation gezielt und nachhaltig widerstandsfähiger macht.
