07762 - 56 79 952 info@crazyALEX.de

OPEN SOURCE KI IN DER EIGENEN UMGEBUNG

von

Künstliche Intelligenz ist den meisten nur in Form von OpenAI’s ChatGPT, Microsoft’s Copilot oder Googles Gemini bekannt, die bekanntlich im Internet aufrufbar und nutzbar sind.

Zugegeben, diese Anwendungen haben einiges an Komfort. Neben Texten lassen sich auch multimediale Inhalte erstellen, allerdings gibt es Anwendungsfälle, in denen eine reine Auswertung von Daten und die Ausgabe von Texten vollkommen ausreichend ist. Insbesondere bei der Integration in eigene Anwendungen. Bei besonders sensiblen Daten und Abfragen, spielt die Sicherheit der Daten selbstverständlich eine entscheidende Rolle.

Eine Alternative oder sogar Lösung können Open Source LLM-Modelle darstellen, welche KI lokal auf einem einzelnen Computer oder im eigenen Netzwerk ausführen.

Durch die Nutzung von Open Source KI-Modellen wie GPT-Neo, GPT-J, oder GPT-4 Open-Source-Alternativen, die von der EleutherAI oder ähnlichen Organisationen entwickelt wurden, können Unternehmen und Einzelpersonen eine leistungsfähige KI direkt in ihre Systeme integrieren, ohne dabei auf externe Dienste angewiesen zu sein. Dies bietet nicht nur eine größere Kontrolle über die Daten, sondern ermöglicht auch eine Anpassung der Modelle an spezifische Bedürfnisse und Anforderungen.

Ein wesentlicher Vorteil der lokalen Ausführung von KI-Modellen ist die Datensicherheit. Sensible Informationen müssen nicht über das Internet übertragen werden, was das Risiko von Datenlecks oder -missbrauch erheblich reduziert. Dies ist besonders wichtig für Branchen, die mit vertraulichen Daten arbeiten, wie das Gesundheitswesen, die Finanzindustrie oder die öffentliche Verwaltung.

Darüber hinaus ermöglicht die lokale Installation eine kontinuierliche Verfügbarkeit und Leistung, unabhängig von Internetverbindungen oder Ausfällen externer Dienste. Dies kann für kritische Anwendungen, bei denen Zeitverzögerungen oder Ausfälle inakzeptabel sind, entscheidend sein.

Der Zugang zur eigenen KI ist mittlerweile denkbar einfach. Hier ein paar Beispiele:

Mit GPT4All gibt es einen vorgefertigten Installer, der alle notwendigen Komponenten auf dem eigenen Computer installiert. Man kann verschiedene Modelle herunterladen und je nach Leistungsfähigkeit des eigenen Systems entsprechend KI lokal nutzen.
https://gpt4all.io **

Deutlich umfangreicher, aber auch komplizierter in der Einrichtung, ist oobabooga – ebenfalls eine Open Source Umgebung die lokal läuft und verschiedene Modelle verwenden kann. Durch die einfache Integration von Hugging Face lassen sich tausende KI-Modelle mit wenig Aufwand lokal ausführen.
https://github.com/oobabooga/text-generation-webui **

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard **

 

** Externe Links, die crazyALEX.de GmbH ist nicht verantwortlich für den Inhalt der verlinkten Internetseiten