Warum LLMs als Suche möglicherweise nicht die beste Idee ist

Der Beitrag ist nur in Englisch verfügbar.

Zum selber probieren: SquirroGPT.

Veröffentlicht unter Uncategorized | Comments Off on Warum LLMs als Suche möglicherweise nicht die beste Idee ist

Retrieval Augmented LLMs (raLLM): Die Zukunft von Enterprise KI

Der Beitrag ist nur in Englisch verfügbar.

Oh, und natürlich könnt ihr das selber ausprobieren: Get going with SquirroGPT.

Veröffentlicht unter Uncategorized | Comments Off on Retrieval Augmented LLMs (raLLM): Die Zukunft von Enterprise KI

ChatGPT – eine beängstigende Überwachungsmaschine?

Neulich wurden wir gebeten, an einem Accelerator-Programm teilzunehmen. Wie immer muss ein Formular ausgefüllt werden. Ich hatte wenig Zeit. Tatsächlich war die offizielle Frist bereits abgelaufen. Aber der Veranstalter wollte unbedingt, dass wir dabei sind. Was habe ich also gemacht? Ich habe mich an ChatGPT gewandt, um mir bei der Formulierung der Antworten auf den Fragebogen zu helfen.

Und jetzt geschah etwas Beunruhigendes.

Eine der Fragen war, wie unser Startup und unser Produkt zur Herausforderung passen (siehe nächster Screenshot).

Challenge Question

Ich habe die Fragen einfach ohne zusätzlichen Kontext in ChatGPT kopiert. Hier ist die Antwort, die ich bekommen habe.

ChatGPT answer

Ohne dass ich den spezifischen Kontext von Squirro angegeben habe, hat ChatGPT mir tatsächlich die Beschreibung der Antwort eines anderen Unternehmens auf dieselben Fragen zurückgegeben.

Ich habe das überprüft und jetzt wird es beängstigend: Das oben genannte Unternehmen hat sich beim Wettbewerb auch angemeldet …

Also hat ChatGPT eine Antwort von jemand anderem reproduziert – effizientes Caching, alles verwandelt sich in dasselbe (ChatGPT erzeugt die gleiche Antwort, unabhängig davon, wer fragt), das System weiß, wer wann was gefragt hat … Beängstigend.

PS: Mit etwas Prompt Engineering hat ChatGPT eine ziemlich gute Squirro spezifische Antwort geliefert, die beschreibt, was wir tun, und nicht, was andere tun.

Veröffentlicht unter Uncategorized | Comments Off on ChatGPT – eine beängstigende Überwachungsmaschine?

GPT in die Irre führen – Versuch

Wir haben GPT für Unternehmen veröffentlicht – https://squirro.com/enterprise-generative-ai-and-large-language-models/…

Natürlich probieren wir das auch unseren eigenen Daten aus, z.B. unser ISO Handbuch. Und natürlich versuchen wir die Limiten auszureizen. Hier ein Selbstversuch. Hat nicht funktioniert….

Zum Selbstversuch: https://start.squirro.com

Veröffentlicht unter Uncategorized | Comments Off on GPT in die Irre führen – Versuch

KI Voraussagen

“Since AI has been around for many years already, I expect a comparable diffusion in one or two years.”

Wir haben im Interview mit dem EM Journal darüber gesprochen.

https://link.springer.com/article/10.1007/s12525-021-00516-w

Ein Jahr später ist ChatGPT da.

Veröffentlicht unter Uncategorized | Comments Off on KI Voraussagen

Kombinieren von LLMs mit CompositeAI – der beste Weg nach vorne

Die Einführung von Large Language Models (LLMs) ist nicht ohne Herausforderungen, insbesondere für Unternehmen. Um diese Herausforderungen zu bewältigen und den maximalen Nutzen aus diesen Modellen zu ziehen, ist die Kombination von zusammengesetzter KI mit Large Language Models der beste Weg für Unternehmen.

Bessere Kontrolle und Anpassung:
Einer der Hauptvorteile der Kombination von zusammengesetzter KI mit großen Sprachmodellen ist die Möglichkeit, die Modelle besser steuern und anpassen zu können. Composite AI ermöglicht es Unternehmen, mehrere KI-Modelle zu kombinieren, um eine benutzerdefinierte Lösung zu erstellen, die ihren spezifischen Anforderungen entspricht. Dies ist besonders wichtig für große Sprachmodelle, die zu generisch sein können und möglicherweise nicht das Maß an Kontrolle bieten, das Unternehmen benötigen.

Verbesserte Genauigkeit und Leistung:
Ein weiterer Vorteil der Kombination von zusammengesetzter KI mit großen Sprachmodellen ist die verbesserte Genauigkeit und Leistung. Große Sprachmodelle können riesige Datenmengen erzeugen, die schwer zu verwalten und zu interpretieren sind. Composite AI ermöglicht es Unternehmen, mehrere Modelle zu verwenden, um die von großen Sprachmodellen generierten Daten zu analysieren und zu interpretieren, was zu einer verbesserten Genauigkeit und Leistung führt. Dies ist besonders wichtig für Anwendungen wie den Kundendienst, wo die Genauigkeit der Antworten des Modells einen erheblichen Einfluss auf die Kundenzufriedenheit haben kann.

Besserer Datenschutz und Sicherheit:
Datenschutz und -sicherheit sind wichtige Anliegen für Unternehmen, wenn es um die Einführung umfangreicher Sprachmodelle geht. Composite AI ermöglicht es Unternehmen, die von den Modellen verwendeten Daten zu kontrollieren und stellt sicher, dass vertrauliche Informationen ordnungsgemäß gesichert sind. Dies kann dazu beitragen, die mit großen Sprachmodellen verbundenen Risiken zu mindern und sicherzustellen, dass Unternehmen diese Modelle vertrauensvoll übernehmen können.

Geringere Kosten:
Die Übernahme großer Sprachmodelle kann sowohl hinsichtlich der Hardware- als auch der Softwarekosten teuer sein. Durch die Kombination von zusammengesetzter KI mit großen Sprachmodellen können Unternehmen diese Kosten senken und kostengünstigere Lösungen erzielen. Dies liegt daran, dass Composite AI es Unternehmen ermöglicht, mehrere Modelle zu verwenden, von denen jedes für bestimmte Aufgaben optimiert werden kann, wodurch die Gesamtkosten der Lösung gesenkt werden.

Bessere Integration mit bestehenden Systemen:
Große Sprachmodelle können riesige Datenmengen erzeugen, die schwierig zu verwalten und in bestehende Systeme zu integrieren sind. Composite AI ermöglicht es Unternehmen, mehrere Modelle zu integrieren und die von großen Sprachmodellen generierten Daten effektiver zu verwalten. Dies führt zu einer besseren Integration mit bestehenden Systemen und stellt sicher, dass die von den Modellen generierten Daten ordnungsgemäß gespeichert und verwaltet werden.

Zusammenfassend lässt sich sagen, dass die Kombination von zusammengesetzter KI mit großen Sprachmodellen der beste Weg für Unternehmen ist, die große Sprachmodelle übernehmen. Durch die Übernahme dieses Ansatzes können Unternehmen die Vorteile großer Sprachmodelle maximieren und sicherstellen, dass sie die erforderlichen Ergebnisse liefern.

PS: Dies ist übrigens die Meinung von ChatGPT selbst

Veröffentlicht unter Uncategorized | Comments Off on Kombinieren von LLMs mit CompositeAI – der beste Weg nach vorne

Grosse Sprachmodelle im Unternehmen: Herausforderungen und Fallstricke

Die Einführung großer Sprachmodelle (LLM) wie ChatGPT in einem Unternehmen ist nicht ohne Herausforderungen. In diesem Beitrag besprechen wir einige der wichtigsten Herausforderungen, denen Unternehmen bei der Einführung großer Sprachmodelle gegenüberstehen, und wie sie diese überwinden können.

Datenschutz- und Sicherheitsbedenken:
Eine der größten Herausforderungen, denen Unternehmen bei der Einführung großer Sprachmodelle gegenüberstehen, sind Datenschutz und -sicherheit. Diese Modelle werden mit riesigen Mengen öffentlicher Daten trainiert. Damit ein LLM im Unternehmenskontext nützlich wird, muss er in oft sensiblen Informationen wie persönlichen Daten, Finanzinformationen und vertraulichen Geschäftsinformationen umgeschult werden. Um diese Bedenken auszuräumen, müssen Unternehmen sicherstellen, dass ihre Daten ordnungsgemäß gesichert sind und dass die Modelle nicht ohne Erlaubnis auf vertrauliche Informationen zugreifen oder diese verwenden. Dies erfordert die Implementierung robuster Sicherheitsmaßnahmen wie Verschlüsselung, Datenmaskierung und Zugriffskontrollen.

Integration mit bestehenden Systemen:
Eine weitere Herausforderung für Unternehmen bei der Einführung von LLMs ist die Integration in bestehende Systeme. Große Sprachmodelle können riesige Datenmengen erzeugen, die schwierig zu verwalten und in bestehende Systeme zu integrieren sind. Unternehmen müssen sicherstellen, dass die von den Modellen generierten Daten ordnungsgemäß gespeichert und verwaltet werden und dass sie leicht zugänglich sind und in vorhandene Systeme wie Datenbanken und Analyseplattformen integriert werden können.

Kosten:
Große Sprachmodelle können sehr teuer sein, sowohl hinsichtlich der Hardware- als auch der Softwarekosten. Unternehmen müssen sicherstellen, dass sie über das Budget für den Kauf und die Wartung dieser Modelle sowie über die Infrastruktur zu ihrer Unterstützung verfügen. Gerade für kleine und mittelständische Unternehmen kann dies eine große Herausforderung darstellen.

Kompetenzmangel:
Eine weitere Herausforderung, der Unternehmen bei der Einführung großer Sprachmodelle gegenüberstehen, ist der Fachkräftemangel. Es fehlt an Talenten mit Fachwissen zu diesen Modellen, was ihre Implementierung und effektive Nutzung erschweren kann. Unternehmen müssen in Schulungs- und Entwicklungsprogramme investieren, um sicherzustellen, dass ihre Teams über die erforderlichen Fähigkeiten verfügen, um diese Modelle effektiv einzusetzen.

Vorurteile und Halluzinationen:
Große Sprachmodelle können aufgrund der Daten, mit denen sie trainiert werden, voreingenommen sein, was zu falschen Ergebnissen führen kann. Unternehmen müssen sicherstellen, dass ihre Modelle auf unvoreingenommenen Daten trainiert werden und dass die vorhergesagten Ergebnisse aus dem LLM durch tatsächliche Daten im Unternehmen bestätigt werden.

Zusammenfassend lässt sich sagen, dass große Sprachmodelle zwar erhebliche potenzielle Vorteile für Unternehmen bieten, es jedoch mehrere Herausforderungen zu bewältigen gilt, um sie effektiv einzuführen.

Veröffentlicht unter Uncategorized | Comments Off on Grosse Sprachmodelle im Unternehmen: Herausforderungen und Fallstricke

ChatGPT – Der stochastische Papagei

ChatGPT ist eines der fortschrittlichsten Sprachmodelle der Welt. Obwohl es oft als „KI-Sprachmodell“ bezeichnet wird, ist es wichtig zu beachten, dass es nicht wirklich autonom oder so intelligent ist wie Menschen. Stattdessen kann man sich ChatGPT als hochentwickelten „stochastischen Papagei“ vorstellen.

Ein Papagei ist ein Vogel, der die Fähigkeit hat, Geräusche zu imitieren und Sprache nachzuahmen. Während ein Papagei den Anschein hat, als würde er aus eigenem Antrieb sprechen, wiederholt er eigentlich nur, was er zuvor gehört hat. In ähnlicher Weise ist ChatGPT ein Modell, das mit einem großen Textdatensatz trainiert wurde und gelernt hat, Antworten basierend auf den in diesen Daten erkannten Mustern zu generieren.

Im Gegensatz zu einem Papagei verwendet ChatGPT jedoch probabilistische Methoden, um seine Antworten zu generieren. Das bedeutet, dass es nicht einfach wiederholt, was es zuvor gesehen hat, sondern neue Antworten generiert, indem es basierend auf den erhaltenen Eingaben vorhersagt, was als nächstes am wahrscheinlichsten kommt. Aus diesem Grund wird ChatGPT als „stochastisches“ Modell bezeichnet – es generiert Antworten, die eher auf Wahrscheinlichkeit als auf Determinismus basieren.

Obwohl ChatGPT extrem fortschrittlich ist und Antworten erzeugen kann, die sehr menschenähnlich sind, ist es immer noch durch die Daten begrenzt, mit denen es trainiert wurde. Wenn beispielsweise die Daten, mit denen es trainiert wurde, Verzerrungen oder Ungenauigkeiten enthalten, generiert ChatGPT auch voreingenommene oder ungenaue Antworten. Da ChatGPT keine direkten Erfahrungen in der Welt wie Menschen gemacht hat, kann es außerdem manchmal Antworten geben, die unsinnig sind oder denen der Kontext fehlt.

Trotz dieser Einschränkungen ist ChatGPT immer noch ein wertvolles Werkzeug für eine Vielzahl von Anwendungen. Beispielsweise kann es verwendet werden, um Antworten in natürlicher Sprache bei Kundendienstinteraktionen zu generieren, bei der Erstellung von Inhalten zu helfen oder bei der Sprachübersetzung zu helfen. Es ist jedoch wichtig zu bedenken, dass ChatGPT kein Ersatz für menschliche Intelligenz ist – es ist einfach ein Werkzeug, das verwendet werden kann, um menschliche Fähigkeiten zu erweitern.

Zusammenfassend kann man sich ChatGPT als einen hochentwickelten „stochastischen Papagei“ vorstellen. Obwohl es sich um ein beeindruckendes Modell handelt, das menschenähnliche Reaktionen hervorrufen kann, ist es durch die Daten, mit denen es trainiert wurde, begrenzt und nicht wirklich autonom oder intelligent. Es bleibt jedoch ein wertvolles Werkzeug für eine Vielzahl von Anwendungen und hat das Potenzial, die menschlichen Fähigkeiten erheblich zu erweitern.

PS: Der Text wurde von ChatGPT generiert….

Veröffentlicht unter Uncategorized | Comments Off on ChatGPT – Der stochastische Papagei

GPT Prognose: KI bringt kurz- und mittelfristig kein Produktivitätsgewinn, ganz im Gegenteil

Robert Solow, ein Wirtschaftswissenschaftler, sagte 1987, dass Computer überall auftauchen, ausser in den Produktivitätsstatistiken. Es dauerte damals gut zwei Jahrzehnte, bis sich das grundlegend änderte.

Ich denke, dass das gleiche „Solow-Paradox“ auch für KI und ihre neueste Inkarnation, sogenannte LLMs (von denen GPT eine Variante ist), gelten wird. In den nächsten Jahren wird eine Menge punkte Adoption passieren. Kaum etwas davon wird sich positiv auf die Produktivitätsstatistiken auswirken (und in einigen Fällen sogar negativ… 😉).

Der Unterschied wird sein, dass sich die Produktivitätsfortschritte am Schluss der Dekade zeigen werden und es keine zwei Jahrzehnte brauchen wird wie damals.

Veröffentlicht unter Uncategorized | Comments Off on GPT Prognose: KI bringt kurz- und mittelfristig kein Produktivitätsgewinn, ganz im Gegenteil

GPT Prognose: Fat Finger Event

In Finanzkreisen beschreibt ein Fat Finger Event, einen Tippfehler mit Konsequenzen. Vor ein paar Jahren hat ein Deutsche Bank Händler mal eben 6 Milliarden fälschlicherweise überwiesen.

Prognose: Genau das wird auch mit GPT passieren. Genau genommen, es wird passieren mit System wie Github Copilot. Irgendein Programmierer passt nicht auf, checkt das Code Fragment nicht in dem – kann auch GPT passieren – die falsche Variable drin steht und das Live-System führt das Äquivalent eines Fat Fingers aus.

Veröffentlicht unter Uncategorized | Comments Off on GPT Prognose: Fat Finger Event