KI nutzen, ohne dass openAI, Google & Co. zuhören

Kaum ein Tag vergeht ohne einen neuen Durchbruch in der sich rasant entwickelnden KI-Welt. Immer mächtigere Sprachmodelle und Tools sprießen wie Pilze aus dem Boden. Viele Entwicklungen nehmen wir inzwischen als selbstverständlich hin, ohne die technische Tragweiter und Errungenschaften überhaupt noch begreifen zu können. Inzwischen hat sich fast schon ein Selbstverständnis eingestallt, dass „die KI“ sowieso alles kann und nichts mehr unmöglich ist, was früher noch als reine Science-Fiction galt.

So vielversprechend der KI-Spielplatz auch aussieht gibt es allerdings immer noch einige Hürden. Bei genauerer Betrachtung bemerkt man jedoch, dass viele Lösungen zwar scheinbar schon zum Greifen nah, aber dabei doch oftmals nahezu unerreichbar sind, oder zumindest mit einigen deutlichen Einschränkungen versehen.

Mangelndes Technisches Know-How

Möglicherweise ist dies auch nur die verzerrte Wahrnehmung von Leuten, die sich bereits intensiv mit KI und den neuesten Entwicklungen beschäftigen. Viele der neuesten Entwicklungen erfordern ein tiefgründiges technisches Know-How mit einem Mindestmaß an Computerverständnis und Programmierkenntnissen, um Zugriff auf die neuesten Techniken zu haben und sie zum Laufen zu bekommen. Wer sich nicht in dieser Info-Bubble befindet verpasst möglicherweise die aktuellen Möglichkeiten und nimmt an, dass mit der Fähigkeit mit einem großen Sprachmodell zu chatten bereits das Ende der Fahnenstange erreicht sei.

Benutzerfreundliche Cloud-Lösungen

Eine willkommene Lösung sind unzählige Cloud-Lösungen, die es ermöglichen, die neuesten Entwicklungen einfach und ohne oder mit sehr geringem technischem Verständnis nutzen zu können. Mit schön polierten Benutzeroberflächen stehen beeindruckende Möglichkeiten jedem zur Verfügung, der über einen Rechner mit Internetanschluss verfügt - sowie das nötige Kleingeld.

1. Da diese Anwendungen sehr hardwarehungrig sind und in der Anschaffung und im Betrieb erhebliche Kosten verursachen (und die Betreiber auch noch Gewinn mit dem Angebot machen wollen), stehen diese Lösungen in der Regel nicht kostenlos zur Verfügung. Inzwischen hat es sich eingebürgert, die Nutzung dieser Cloud-Anwendungen an Abo-Modelle zu binden. Besonders für Privatanwender ist zu beachten, ob sich die Investition lohnt, viele dieser Dienste zu abonnieren.
2. Des Weiteren ergeben sich daraus auch Bedenken hinsichtlich Privatsphäre und Datensicherheit. Je nachdem, zu was die Dienste genutzt werden, geben die Nutzer unzählige Daten von und über sich preis, ohne sich vielleicht über die Konsequenzen Gedanken zu machen, oder überhaupt zu wissen, was mit den eigenen und den persönlich generierten Daten passiert. Insbesondere mit dem Fortschritt audio-visueller generativer KI mit Face-Swap, virtuellen Avataren, Voice-Cloning und deep-fakes birgt das freizügige Verwenden der eigenen biometrischen Daten auf fremden Servern diverse Risiken.

KI und Datenschutz

Das Thema Datenschutz spielt im Hinblick auf KI eine immer größer werdende Rolle. Mittels KI ist es möglich, riesige Datenmengen zu analysieren und Muster zu erkennen, die aus vermeintlich harmlosen Daten Rückschlüsse auf Zusammenhänge und persönliche Details schließen lassen. (Ein beeindruckende Beispiel hierfür liefert Daniel Kriesel mit seinem Projekt „SpiegelMining“ - damals noch ganz ohne KI: https://dkriesel.com/spiegelmining) Große Firmen wie Microsoft haben für einen Aufschrei in der Cyber-Security-Community gesorgt, als sie das neue „Recall Feature“ in Windows 11 vorgestellt haben. Dieses macht alle paar Sekunden einen Screenshot aller (!) Aktivitäten am PC, um diese später mit der Macht der KI einfach und schnell durchsuchbar zu machen - inzwischen ist dieses feature zumindest optional. ChatGPT von openAI hat mit seinem öffentlichen Release im November 2022 vermutlich den aktuellen KI-Hype ausgelöst und zumindest der breiten Masse zugänglich gemacht. Auch hier wird immer weiter geforscht und neue Fortschritte präsentiert, nicht zuletzt die großen Sprünge die in der Qualität durch die Methode des „reasoning“ erreicht werden konnten, oder die verblüffende Qualität des „Advance Voice Chat“, der sogar Emotionalität und Dialekte beherrscht, und das nahezu ohne Verzögerung. In den Datenschutzbestimmungen von openAI findet sich allerdings folgender Satz: „When you use our services for individuals such as ChatGPT or DALL•E, we may use your content to train our models.“ („Wenn Sie unsere Dienste für Einzelpersonen wie ChatGPT oder DALL•E nutzen, können wir Ihre Inhalte verwenden, um unsere Modelle zu trainieren.“ - übersetzt von ChatGPT 😉)

Vertrauen - aber wem?

Nicht nur Privatpersonen, sondern insbesondere für Unternehmen ergeben sich durch derartige Aussagen automatisch einige Bedenken über den Einsatz von KI im geschäftlichen Umfeld. Die Verantwortung und der Umgang mit Daten hat einen kritischen Stellenwert. Gesetzliche Anforderungen (Stichwort: DSGVO) müssen eingehalten, die Privatsphäre und Persönlichkeitsrechte von Mitarbeitern und Kunden geschützt und Firmengeheimnisse gewahrt werden. Wie lässt sich in diesem Kontext KI nun sicher einsetzen? Es gibt zwar Cloud-Lösungen, die einen DSGVO-konformen Umgang mit den zur Verfügung gestellten Daten versprechen, und auch bei openAI gibt es zumindest die Möglichkeit des opt-out, um ein trainieren der Sprachmodelle mit den eigenen Daten zu verhindern. Je nach Art und Sensibilität der Daten, die man im Umgang mit KI-Lösungen verwenden möchte, sowie der persönlichen Einstellung über die Vertrauenswürdigkeit der jeweiligen Dienste und ihrer Anbieter, ist dieses Versprechen möglicherweise nicht ausreichend. Der sicherste Weg, um die eigenen Daten zu schützen, ist, sie gar nicht online zu verwenden. Und an dieser Stelle kommen open-source KI-Anwendungen ins Spiel, die lokal auf der eigenen Hardware ausgeführt werden können.

KI privat nahezu unmöglich?

Wer seine eigenen KI-Anwendungen privat auf dem eigenen Rechner laufen lassen möchte, sieht sich zunächst mit einigen Herausforderungen konfrontiert. Die Implementierung von eigenen Lösungen erfordert immer ein technisches Grundverständnis, sowie das Wissen über die Einrichtung des gewünschten Systems. Dem technisch versierten Anwender stehen zahlreiche open-source Lösungen zur Verfügung. Neben dem erforderlichen Know-How gibt es aber noch die Einschränkungen zu beachten, die sich aufgrund der oftmals immensen Hardwareanforderungen für komplexere KI-Anwendungen ergeben. Die großen und bekannten kommerziellen Dienste betreiben ganze Rechenzentren und verwenden teils monatelanges Training, um die Qualität zu erreichen und Kunden ihre Dienste zur Verfügung stellen zu können. Google und Microsoft erwägen sogar, eigene Kraftwerke zu bauen oder alte, stillgelegte Kraftwerke wieder in Betrieb zu nehmen, um die nötige Stromzufuhr zum Betrieb von KI stemmen zu können. Verständlich wird dies, wenn man sich bewusst macht, wieviele Nutzer diese Systeme auch nutzen. Berichten zufolge nutzen über 77 Millionen Menschen in den USA regelmäßig, 200 Millionen Nutzer weltweit sind regelmäßig auf der Plattform aktiv, und im Juli 2024 brach openAI seinen Rekord mit 2,9 Milliarden Besuchern auf ChatGPT.

KI für jedermann - lokal auf dem eigenen System

Angesichts dieser Zahlen wirkt es nahezu unmöglich, KI-Systeme selbst zu betreiben. Mächtige Sprachmodelle oder der Einsatz generativer KI zur Bild- und Video-Generierung, die qualitativ den großen und bekannten kommerziellen Diensten nahe kommt, erfordern oft extreme Hochleistungs-Hardware - insbesondere CPU/GPU und (V)RAM - die in ihren Anschaffungskosten schnell im mittleren fünfstelligen Bereich liegen und im Betrieb immensen Stromkosten verursachen. Allerdings gibt es auch bereits bahnbrechende Entwicklungen, in denen es darum geht, die Technologie auch für durchschnittliche Endbenutzer möglich und erschwinglich zu machen. Es existiert eine breite Palette an Tools und Sprachmodellen, die open-source zur Verfügung stehen und auf Standard-Hardware genutzt werden können. Aktuelle Office-PCs und Laptops bieten die Möglichkeit, komplett abgekoppelt vom Internet eigene Chatbots lokal zu nutzen. Selbst auf sogenannten „Edge-Devices“, was Geräte mit schwächerer Hardware bezeichnet, wie beispielsweise Mobiltelefone oder sogar Ein-Platinen-Computer wie der Raspberry Pi, sind in der Lage, kleinere Sprachmodelle auszuführen.

Abwägung: Qualität, Kosten und Privatsphäre

Verständlicherweise sind hierbei (noch?) nicht die gleichen komplexe Einsatzmöglichkeiten gegeben, wie bei den kommerziellen Modellen, die verteilt in großen Rechenzentren laufen. Für einen Großteil der Anwendungsfälle, insbesondere im End-User-Bereich, stellen die lokal betriebenen open-source LLM („large language models“) allerdings durchaus interessante Alternativen dar. Für alltägliche Aufgaben, zur Unterstützung beim Erstellen von Texten, als Assistent beim Programmieren oder zum Analysieren von Texten und zum Brainstorming neuer Ideen stehen viel zum Teil spezialisierte Modelle zur Verfügung, die sich frei und kostenlos auf den heimischen PCs und Laptops nutzen lassen. Mit einem starken Prozessor, ausreichend RAM und einer guten Grafikkarte, wie beispielsweise in einem guten Gaming-PC oder aktuellem MacBook, lassen sich auch größere und qualitativ hochwertigere LLM installieren, oder möglicherweise sogar generative KI zur Erzeugung von Bildern oder sogar Videos betreiben. Jedenfalls muss man sich weder über etwaige Abo-Kosten Gedanken machen, noch darüber, wie die eigenen Daten genutzt, verkauft oder weiter verarbeitet werden. Auf lokalen Systemen, die nicht mit dem Internet verbunden sind, können KI-Systeme auch bedenkenlos mit sensiblen Daten, Inhalten und Themen genutzt werden - bei Bedarf werden diese einfach wieder von der eigenen Festplatte gelöscht. Zu jedem Zeitpunkt selbst die Datenhoheit über die eingegebenen und generierten Inhalte zu haben, bietet in Einsatzgebieten mit hohen Datenschutzanforderungen eine gute Möglichkeit, KI-Systeme nutzen zu können.

Fazit

Genau diese Abwägung muss jeder für sich selbst machen: Wähle ich den einfachen Weg und bezahle einfach einen Drittanbieter für den Service? Oder reizt mich die technische Herausforderung, ein KI-System selbst lokal zu betreiben? Liegt der Fokus auf Privatsphäre, Kostenkontrolle und Autonomie stellen - mit der nötigen Expertise - lokale LLM jedenfalls eine hervorragende Lösung dar, um ohne Sorge KI-Technologien privat nutzen zu können.