Eine „Denkmaschine“ aus KI-Modellen: Ist das die Zukunft der KI-Nutzung?

Stella: Schön, dass ihr wieder eingeschaltet habt zu einer neuen Folge von t3n Interview.

Stella: Wir sind heute zu dritt, aber bevor ich euch sage, wer hier eigentlich sitzt,

Stella: gucken wir erstmal auf das aktuelle Thema.

Stella: Wir haben nämlich einen Gründer eines Startups bei uns zu Gast,

Stella: der sich mal mit dem Thema Künstliche Intelligenz hier in Deutschland beschäftigt.

Stella: Wir gucken immer rüber in die USA und heute schauen wir mal,

Stella: was passiert eigentlich hier in der Branche.

Stella: Gerade bei dem Thema Halluzination möchte nämlich Embraceable AI dafür sorgen,

Stella: dass dieses Problem zumindest deutlich vermindert wird.

Stella: Unter anderem Zielgruppe sind Unternehmen, aber da gucken wir jetzt natürlich

Stella: erstmal im Detail drauf. Und jetzt, wer sitzt hier eigentlich?

Stella: Christian Gilcher ist bei mir zu Gast, Gründer und CEO von Embraceable AI.

Stella: Moin Christian, schön, dass du hier bist.

Christian: Ja, danke für die Einladung.

Stella: Und zu meiner Linken, falls ihr den Videopodcast seht, sitzt Wolfgang Stieler.

Stella: Er ist mein Kollege von der MIT Technology Review.

Stella: Ja, hallo Wolfgang, schön, dass du dabei bist.

Wolfgang: Hallo Stella, ich freue mich auch hier zu sein.

Stella: Der Formalthalber, du hast ja netterweise schon gesagt, Stella.

Stella: Ich bin Stella-Sophie Wojtczak, Host von t3n Interview.

Stella: Und genug der langen Vorrede. Wir wollen jetzt nämlich mal wissen,

Stella: was kann eigentlich Embraceable AI?

Stella: Was steckt da auch technologisch dahinter? Und keine Sorge, ihr werdet keinen

Stella: Knoten im Kopf bekommen.

Stella: Wir machen das hier alles Schritt für Schritt und gehen es zusammen durch.

Stella: Also Christian, jetzt mal die erste Frage an dich.

Stella: Führ uns doch einmal in die Welt von Embraceable AI ein. Was bietet ihr eigentlich

Stella: an? Was sind denn eure Softwarelösungen für Unternehmen?

Christian: Ja, also wir beschäftigen uns mit der Frage, wie wir KI auf der Ebene von Grundlagentechnologie

Christian: zuverlässiger machen können und gleichzeitig leistungsfähiger.

Christian: Und sozusagen auf dieser Grundlagentechnologie on top beschäftigen wir uns mit

Christian: der Frage, wie können wir einfach und zuverlässig KI-Workflows abbilden.

Christian: Wir sind also kein klassischer Anwendungsentwickler in dem Sinne,

Christian: dass wir sagen, wir haben eine bestimmte Anzahl von Lösungen,

Christian: vordefinierten Lösungen, sondern wir sind einmal Grundlagentechnologie und einmal

Christian: Workflow-Bilder. Das ist ein Baukasten.

Stella: Und kannst du uns noch einmal ganz konkret sagen, was bietet ihr denn dann beispielsweise

Stella: Unternehmen an? Also wofür können sie eure Entwicklung nutzen?

Christian: Ja, also du kannst dir vorstellen, du kannst im Grunde unsere Technologie benutzen

Christian: als ein Drop-in-Replacement für Basis-KI, die du von anderen Modellanbietern beziehst.

Christian: Also technisch gesprochen, wenn du API-basierte KI nutzt von den großen Modellanbietern,

Christian: kannst du quasi diese API austauschen und kannst dafür unsere nutzen.

Christian: Oder alternativ, projektbasiert, gehen wir mit Unternehmen rein,

Christian: definieren Anwendungsfälle und modellieren eben diese KI-basierten Workflows,

Christian: ich sag mal so salopp formuliert nach Bedarf.

Wolfgang: Und da ist natürlich jetzt die naheliegende Frage, was habe ich davon?

Wolfgang: Also warum sollte ich jetzt zum Beispiel ein Modell von OpenAI gegen euer Modell austauschen?

Christian: Also wir sehen bei Unternehmen, dass im Grunde der Business Value,

Christian: also praktisch der Nutzen durch den Einsatz von KI-Technologie erst dann entsteht,

Christian: wenn KI über mehrere Schritte hinweg eigenständig Dinge tun kann.

Christian: Was wir mit Chatbots sehen oder mit Co-Piloten, ich sag mal salopp formuliert,

Christian: ist einigermaßen nice to have, also unterstützt Menschen punktuell.

Christian: Ich kann irgendwie schnell eine E-Mail formulieren oder ich kann irgendwie einen

Christian: Text, für den ich sonst zwei Stunden brauche, eine Zusammenfassung oder ein

Christian: Memo schreiben, kann ich mir irgendwie vorformulieren lassen.

Christian: Aber der wirklich große Nutzen entsteht erst dann, wenn ich sozusagen Mehrstufigkeit abbilden kann.

Christian: Und was wir halt sehen, ist im Grunde, dass diese Mehrstufigkeit in Modellen

Christian: nicht gut funktioniert, aus verschiedenen Gründen.

Christian: Und im Grunde, warum sollen Kunden mit uns zusammenarbeiten,

Christian: ist, dass wir eben Technologie entwickelt haben, die eben über mehrere Stufen

Christian: hinweg diese Zuverlässigkeit und diese, ich nenne es mal, Ergebnisqualität abbilden kann.

Christian: Das heißt also, mit Technologie von Abracable bist du als Unternehmen eben in

Christian: der Lage, Prozessketten, wenn man das so will, quasi abzubilden auf einem Level,

Christian: die du quasi mit Modell basiert alleine eben nicht darstellen kannst.

Christian: Ich habe auch noch gleich ein paar Anwendungsbeispiele dafür.

Stella: Danach wollte ich nämlich fragen, ich glaube, wir brauchen das mal ein bisschen

Stella: handfester, was genau damit gemacht werden kann.

Stella: Vielleicht im Bereich Bankenwesen, ich weiß, da hast du auch einen Hintergrund

Stella: in deiner vorherigen Laufbahn quasi. Genau.

Christian: Also es gibt beispielsweise einen Einsatz, den wir gerade verproben,

Christian: der ist im Bereich Konteröffnung. Das ist quasi ein Bestandteil für Konteröffnung,

Christian: ist die sogenannte Geldwäscheprüfung.

Christian: Man muss also im Grunde prüfen als Bank, wer ist der Kunde, also man muss eine

Christian: Identitätsprüfung durchführen.

Christian: Man muss im Grunde vereinfacht gesagt analysieren, woher stammt das Geld.

Christian: Und das ist ein mehrstufiger Prozess, der, ich sag mal, aus Bafin-Sicht,

Christian: also aus Sicht des Regulators, sehr eng reglementiert ist, wie dieser Prozess ablaufen muss.

Christian: Und wenn du im Grunde diese einzelnen Prüfschritte durchführen möchtest,

Christian: dann hast du als Mensch eben, also ich sag mal, das ist ein Prozess,

Christian: der besteht vielleicht aus 10 Schritten oder aus 20 und du musst eben als Mensch

Christian: sozusagen erst recherchieren,

Christian: musst dann im Grunde die recherchierten Ergebnisse interpretieren und musst

Christian: auf Basis dieser Interpretation den nächsten Schritt einleiten.

Christian: Und wenn du das im Prinzip mit einem reinen Co-Piloten durchführst,

Christian: vereinfacht gesagt, du steckst quasi alle Info-Informationen in ein KI-Modell

Christian: und sagst hier irgendwie, analysieren wir diesen Prozess,

Christian: dann kriegst du zwar ein Ergebnis, das musst du als Mensch aber Schritt für

Christian: Schritt erst nachvollziehen und nachprüfen und es ist mit sehr,

Christian: sehr hoher Wahrscheinlichkeit zwischendrin irgendwo falsch.

Christian: Weil nämlich Modell immer nur sozusagen statistische Repräsentationen ihrer

Christian: Trainingsdaten abliefern können und wenn sie natürlich diesen spezifischen Fall

Christian: nicht gesehen haben im Training, wovon eigentlich auszugehen ist,

Christian: ist die Wahrscheinlichkeit sehr, sehr hoch, dass das Ergebnis falsch ist.

Christian: Und wenn du als Mensch, ich sag mal salopp, eine Stunde sparst dadurch,

Christian: brauchst aber wieder 40 Minuten, um diesen Prozess nachzuvollziehen und zu korrigieren,

Christian: dann hast du am Ende des Tages einfach halt nicht mehr diesen großen Business Value.

Christian: Wenn du eben eine Möglichkeit hast, quasi ein System einzusetzen,

Christian: eine Technologie einzusetzen,

Christian: die dir im Grunde diese Fallaufarbeitung so,

Christian: ich würde mal sagen, über diesen mehrstufigen Prozess hinweg so aufbereitet,

Christian: dass du als Mensch sehr schnell, einfach und intuitiv diese Schritte nachvollziehen

Christian: kannst, also die Denkschritte des Systems nachvollziehen kannst.

Christian: Und gleichzeitig das Ergebnis signifikant zuverlässiger ist,

Christian: also sprich die False Positives, also die sogenannten Halluzinationen,

Christian: signifikant geringer bis Null sind, dann hast du eben in Summe eine deutlichere

Christian: Entlastung des Menschen und du sparst eben in Summe tatsächlich signifikant

Christian: mehr Zeit als durch den punktuellen Einsatz von KI.

Christian: Also man muss sich das quasi Ende zu Ende vorstellen. Ich sage,

Christian: ich kriege diese Fallverarbeitung quasi so mundgerecht zugereicht als Mensch,

Christian: dass ich sie im Grunde schneller und einfacher nachvollziehen kann.

Wolfgang: Das ist auf so einer technischen Ebene eine starke Ansage.

Wolfgang: Du hast ja selber gesagt, herkömmliche Sprachmodelle sind dafür nicht wirklich geeignet.

Wolfgang: Halluzinationen, größerer, längerer Kontext, die laufen immer wieder aus dem Ruder.

Wolfgang: Sie können im Grunde genommen auch nicht wirklich Logik verarbeiten.

Wolfgang: Also so Wenn-Dann-Bedingungen.

Wolfgang: Also wenn das Resultat deiner Recherche ist, der Kontoinhaber sitzt auf den

Wolfgang: Cayman Islands, da hat er schon drei andere Konten, dann mache folgendes, sage mir Bescheid.

Wolfgang: In der Regel wird das Sprachmodell nicht wirklich gut, also kann funktionieren, muss aber nicht.

Wolfgang: Nun habe ich das so verstanden, dass der Kern eurer Technologie nach wie vor

Wolfgang: auch Sprachmodelle sind.

Wolfgang: Und da kriege ich dann an dieser Stelle immer einen Knoten im Kopf. Wie macht ihr das?

Wolfgang: Wie kriegt ihr die Software dazu, die Schwächen, die normale Sprachmodelle haben, nicht zu zeigen?

Christian: Also wir nutzen Sprachmodelle. Es ist sozusagen ein Funktionsblock von dreien.

Christian: Und die anderen beiden Funktionsblöcke sind im Grunde, also für die technischen

Christian: Zuhörer von Neumann-Architektur, die Grundarchitektur moderner Prozessoren.

Christian: Es gibt sozusagen drei Funktionsblöcke in dieser von Neumann-Architektur.

Christian: Das ist einmal das sogenannte Steuerwerk, das Rechenwerk und der Arbeitsspeicher.

Christian: Da gibt es auch noch einen Bus und einen I.O., aber sozusagen erstmal bleiben

Christian: wir bei diesen drei Kern-Funktionsblöcken und

Christian: im Prinzip unsere Hypothese ist oder unsere Arbeitsgrundlage ist zu sagen,

Christian: wir nutzen Sprachmodelle, aber nicht mehr für die Entscheidungsfindung,

Christian: sondern für die Generierung von Hypothesen und für die Verarbeitung der Prüfschritte.

Christian: Das heißt also, die logischen Operatoren, wenn dann, dann das,

Christian: sind sozusagen als Text außerhalb des Systems formuliert.

Christian: Das sind ja im Grunde universelle Regeln sozusagen, die nicht viabel sind.

Christian: Und das sogenannte Steuerwerk, also die Steuerungseinheit, lässt sich sozusagen

Christian: vom Sprachmodell Hypothesen generieren,

Christian: greift sich zu der passenden Hypothese quasi dieses Axiom, also diese textuell

Christian: formulierten logischen Operator,

Christian: und gibt dann diese Kombination wieder aufs Sprachmodell und sagt hier,

Christian: das ist eine Hypothese und hier sind bestimmte einzuhaltende Bedingungen und

Christian: prüfe jetzt bitte, ob das erfüllt ist oder nicht.

Christian: Aber wir zwingen das Sprachmodell nur mit Ja oder Nein zu antworten.

Christian: Und dadurch, dass du halt sozusagen diesem Sprachmodell eine sehr eng definierte

Christian: Aufgabe gibst, also sprich dieser mögliche statistische Fehler im Sprachmodell,

Christian: einfach sehr, sehr klein ist,

Christian: ist die Zuverlässigkeit dieser Antwort signifikant höher, als wenn du eben quasi

Christian: dem Sprachmodell die komplette Lösungsfindung alleine überlässt.

Christian: Also man muss sich das vorstellen, das Sprachmodell wird durch diese Kombination

Christian: aus dieser Steuerungseinheit und dem Arbeitsspeicher immer nur punktuell von uns genutzt.

Christian: Und der Rest des Systems, nämlich diese Steuerungseinheit und der Memory,

Christian: die agieren eben, ich sag mal abstrakt formuliert, in der ähnlichen Weise,

Christian: wie es eben Prozessoren hier bei uns in den Laptops eben auch tun.

Stella: Du hast jetzt mehrmals gesagt, das Sprachmodell, aber wir nennen doch einmal

Stella: ganz konkret, mit welchen Modellen arbeitet ihr da?

Christian: Also wir sind modellagnostisch. Wir arbeiten relativ viel mit Open-Wade-Modellen,

Christian: also einem aktuellen Lama 3.3 mit 70 Milliarden Parametern.

Christian: Das System funktioniert prinzipiell auch mit Close-Source-Modellen.

Christian: Also GPT-4.1 gibt Kunden von uns, die sind quasi auf Hyperscaler unterwegs.

Christian: Die möchten aus bestimmten Gründen Open-R-Modelle nutzen.

Christian: Und wir experimentieren tatsächlich gerade. Also vor wenigen Tagen haben wir

Christian: den ersten Durchsicht gehabt, das auch mit sogenannten Small-Language-Models zu betreiben.

Christian: Also da gibt es zum Beispiel so ein 5.4, das hat 14 Milliarden Parameter.

Christian: Und dadurch, dass wir halt eben, ich sag mal, dieses Sprachmodell nur für bestimmte

Christian: Spitzeaufgaben einsetzen, können wir tatsächlich eben auch kleine Modelle nutzen,

Christian: die dann wiederum auch in der Lage sind, auf High-End-Consumer-Grafikkarten zu laufen.

Christian: Also das heißt, wir durchbrechen auch so ein Stück weit diese Notwendigkeit

Christian: für diese High-End-Grafikkarten und lösen uns damit von der Hardware-Seite auch

Christian: ein Stück weit von den, ich würde mal sagen, Anbieter-Monopolen,

Christian: wenn man das so nennen will.

Wolfgang: Ich denke, zu den Modellen kommen wir noch und zu der,

Wolfgang: Auch zu den Problemen, die da dranhängen, also sprich regulatorische Probleme,

Wolfgang: auch möglicherweise Probleme von Abhängigkeit von einem Anbieter,

Wolfgang: von einem Hyperscaler oder was auch immer.

Wolfgang: Aber ich würde gerne noch kurz bei dem Beispiel bleiben, was du genannt hast,

Wolfgang: also sprich Prüfung von Geldwäsche.

Wolfgang: Und du hast gesagt, ihr sperrt das Sprachmodell sozusagen in einer Art Korsett

Wolfgang: und da draußen rum ist ein Steuerwerk und da sind logische Regeln,

Wolfgang: die sagen, das ist eine Hypothese und diese Hypothese werfe ich dann in die

Wolfgang: Maschine mit den logischen Regeln und da kommen Folgerungen raus.

Wolfgang: Die müsst ihr ja dann von Hand stricken für einzelne Anwendungsfälle,

Wolfgang: oder? Habe ich das richtig verstanden?

Wolfgang: Also das ist dann wieder relativ aufwendig, das ist dann wieder relativ unflexibel.

Wolfgang: Also der große Vorteil von Sprachmodellen war ja gerade, dass ich sagen kann,

Wolfgang: das Ding kann alles Mögliche.

Wolfgang: Wird dieser Vorteil dadurch nicht wieder zunichte gemacht?

Christian: Also wir haben ein Retrieval-System angebunden, bei dem du also zum Beispiel

Christian: diese BaFin-Regeln, für die ich gesprochen habe, also diese Vorschriften des Regulators,

Christian: im Grunde in einer Art erweiterten Vector-Store ablegen kannst und im Grunde aus dem Prozess heraus,

Christian: also aus diesem Steuerwerk ist eben in der Lage, auch Retrievals quasi,

Christian: also hat Kenntnis darüber, welche Knowledge-Stores angebunden sind und kann

Christian: dann eben zielgerichtet auswählen.

Christian: In der Abarbeitung des Prozesses ein Retrieval machen im Sinne von,

Christian: und jetzt haben wir eine Situation hier, dreimal Cayman Island,

Christian: was du sagtest, welche Arten von Vorschriften sind dabei zu beachten.

Christian: So, dann kommt im Grunde von dem Knowledge-Store ein Retrieval zurück.

Christian: Das ist so, ich sag mal, diesen Retrieval-Teil ist das, was man von Rack kennt,

Christian: also von diesem Retrieval.

Stella: Ich glaube, das musst du noch einmal quasi sehr, stell dir mal vor,

Stella: erklär das mal jemandem, der keine Ahnung hat, was ein Retrieval ist.

Christian: Also mit Triebel musst du dir vorstellen, wie in der Bibliothek steht vorne

Christian: jemand, dem du sagst, was du suchst.

Christian: Und dann rennt ein Mensch und der weiß in der Bibliothek, wo genau welches Buch steht.

Christian: Und dann rennt dieser Mensch los, der kennt sozusagen den Grundriss der Bibliothek

Christian: und die inhaltliche Aufteilung, rennt los und präsentiert dir dann quasi zu

Christian: dieser Frage, die du gestellt hast, die relevanten Ausschnitte aus Büchern.

Christian: Lesen musst du das dann selbst und interpretieren, aber du kriegst sozusagen

Christian: die relevanten Passagen zugereicht. Das ist Retrievel quasi.

Stella: Also das ist quasi der Sortierer,

Stella: Der Zuordner, so ein bisschen.

Christian: Ja, so ein bisschen dieser inhaltliche,

Christian: also der Anreicher von Informationen, die du bei diesen Denkschritten quasi verarbeiten musst.

Wolfgang: Also das ist zusätzliche Spezialinformation sozusagen, die dann auch wieder

Wolfgang: dem großen Sprachmodell vorgeworfen wird als zusätzlicher Kontext.

Wolfgang: Aber das Ding ist halt, und das kommt aus meiner Datenbank oder aus meinem Firmenwissen

Wolfgang: oder aus einer Spezialdatenbank, in dem Fall halt Regulatorik zum Beispiel.

Wolfgang: Aber das Problem ist, der Bibliothekar versteht im günstigsten Fall tatsächlich das, was ich suche.

Wolfgang: Das Retrieval-System kann nur anhand von mathematischen Ähnlichkeiten sagen,

Wolfgang: das ist wahrscheinlich ungefähr das, was du haben willst.

Wolfgang: Das ist so ein bisschen die Schwäche davon. Genau.

Christian: Aber du kannst halt im Grunde, also diese Suchquery quasi, die das System an

Christian: diese Datenbank stellt, die

Christian: wird im Grunde auch dynamisch aus dem Informationsfluss heraus erzeugt.

Christian: Das heißt, du hast also kontextbasiert, also das heißt, die Suchquery ist eben

Christian: schon relativ spitz, sag ich mal, also relativ eng formuliert,

Christian: sodass also die Wahrscheinlichkeit, du musst natürlich immer noch dieses Wissen

Christian: ein Stück weit modellieren, Also da fließt ein Stück weit manueller Aufwand

Christian: auch rein, je nach Umfang und Tiefe dieser Regulatorik.

Christian: Aber du kannst quasi, ich sag mal, über dieses sehr enge Definieren der Suchparameter

Christian: auch diese Suche sehr genau eingrenzen, sodass also diese Informationen,

Christian: die dir der Bibliothekar quasi anliefert,

Christian: im Grunde diejenigen sind, die du für die Interpretation dieses Sachverhaltes eben auch brauchst.

Christian: Die Praxis zeigt, wir erheben nicht den Anspruch, dass wir in 100% aller möglichen

Christian: Fälle, was Berechenbarkeit und den Lösungsraum angeht, abbilden können.

Christian: Aber die praktischen Fälle, in denen wir das einsetzen, zeigen,

Christian: dass es zumindest mit den Fällen, die wir bislang abbilden, relativ gut funktioniert.

Wolfgang: Nur um da mal so ein Gefühl zu kriegen, du hast vorhin was von Falls Positives gesagt.

Wolfgang: Wie gut seid ihr dann in solchen Fällen?

Wolfgang: Also zum Beispiel bei so einer Bankkontoeröffnungs-Geldwäscheprüfung?

Christian: Ja, also da sind wir gerade im Aufbau, nehmen wir ein Beispiel,

Christian: das wir schon durchgeführt haben.

Christian: Da geht es um, also das ist ein Dax-Konzern, das ist die interne Steuerabteilung,

Christian: und da geht es darum, dass man komplexe Sachverhalte bewerten muss.

Christian: Also da geht es um Einkommenssteuer über verschiedene Länder hinweg.

Christian: Und es geht darum, dass man im Grunde mal kriegt von der Personalabteilung eben

Christian: einen bestimmten Fall, also ein Mitarbeiter soll jetzt ins Ausland delegiert

Christian: werden mit folgender Konstellation,

Christian: und die Steuerabteilung muss im Grunde eine Aussage darüber treffen,

Christian: in welchen Ländern, in welcher Höhe Einkommenssteuer für diesen Mitarbeiter zu zahlen wäre.

Christian: Relativ komplexe Materie, können ganz wenig Leute überhaupt beantworten, und

Christian: wir haben im Grunde jetzt in diesem Fall quasi mehrere hundert Fälle durchlaufen

Christian: testweise. Und wir hatten bislang zumindest, man muss immer vorsichtig sein,

Christian: bislang keinen false positive, also keine Falschaussage.

Christian: Das heißt nicht, dass nicht morgen irgendwie theoretisch einer auftreten kann,

Christian: aber zumindest mal eine Indikation dafür zu geben, dass wir bislang,

Christian: tot, tot, damit sehr zuverlässig unterwegs sind.

Christian: Und das ist jetzt nicht nur ein Fall, sondern das bestätigt sich im Grunde auch

Christian: in anderen Anwendungsfällen.

Christian: Wir sind nicht in der Lage, formal, das ist auch nicht unsere Absicht,

Christian: formal eine 100 prozentige Garantie zu geben. Also wir wenden sozusagen keine symbolische, formale Logik an.

Christian: Also wir sind darüber im Klaren,

Christian: dass wir sozusagen einen stochastischen Restfehler in diesen Denkketten quasi

Christian: drin haben, das hängt am Ende des Tages einfach damit zusammen,

Christian: wie das Sprachmodell diese Validierung durchführt und ein Stück weit auch mit

Christian: einer stochastischen Unschärfe wie die logischen Operatoren,

Christian: die sind ja auch im Text formuliert,

Christian: aber sozusagen diese quasi über diese Denkketten hinweg, dadurch,

Christian: dass wir diesen Prozess eben zerteilen, immer wieder neu zusammensetzen,

Christian: ist eben diese, ich nenne es mal Gefahr einer Falschaussage,

Christian: eben signifikant geringer.

Christian: Das liegt einfach in der Arbeitsweise des Systems, wenn man so will.

Stella: Ich habe am Anfang versprochen, dass keiner der Zuhörer einen Knoten im Kopf

Stella: bekommt. Dem muss ich gerecht werden. Deshalb einmal nochmal die Zusammenfassung.

Stella: Heißt, wenn ich als Unternehmen euer Angebot von Embraceable AI nutzen will,

Stella: brauche ich vernünftig aufbereitete Daten, beispielsweise für Regulatorik etc.,

Stella: weil das ist ja die Grundeinspeisung. vereinfacht gesagt, die in das System reinkommt.

Stella: Ihr bietet dann quasi an, auch auf Basis von bestehenden Modellen quasi den

Stella: Perfect Fit herzustellen, da wo ich meine Daten einfließe, um bestimmte Aufgaben,

Stella: Prozesse zu durchlaufen und ich kann das dann Schritt für Schritt nachvollziehen.

Stella: So wäre jetzt meine sehr vereinfachte kurze Erklärung.

Christian: Also es gibt mehrere Stufen. Quasi in der einfachsten Stufe kannst du unsere

Christian: Technologie nutzen, Standalone.

Christian: Das ist quasi ein Drop-in-Replacement für ein Reasoning-Modell, ein Sprachmodell.

Christian: In der zweiten Stufe kannst du eine Wissensquelle anbinden, wenn du sozusagen

Christian: diesen Prozess erweitern und anreichern möchtest. Das musst du aber nicht zwingend, kannst es tun.

Christian: Und in der dritten Stufe kannst du im Grunde zum Beispiel Systeme anbinden,

Christian: also sowohl sozusagen von der lesenden Seite, das haben wir gerade besprochen,

Christian: als dann auch potenziell auf der schreibenden Seite.

Christian: Da bewegen wir uns dann in Richtung Agentik, aber eben nicht diese Agents,

Christian: wie man sie heute kennt, wo man im Grunde die Geschäftslogik mit so einer grafischen

Christian: Oberfläche abbildet und das Sprachmodell trifft die Entscheidung,

Christian: sondern eben so, dass es in diesen Denkketten abgebildet ist.

Christian: Also wir bieten faktisch drei Stufen, um es nochmal klar zu sagen.

Christian: Erste Stufe, Technologienutzung Standalone, als Ersatz sozusagen von Reasoning-Modellen,

Christian: also ja vorstellen, wie im Grunde eine Denkmaschine anzuzeichnet.

Christian: Zweite Stufe, du bindest dein eigenes Wissen an, kannst damit sozusagen diese

Christian: Denkschritte quasi anreichern und individualisieren auf deinen eigenen Prozess.

Christian: Dritter Schritt, aber nur wenn du es möchtest, gibst du dem System Zugriff auf

Christian: Drittsysteme und lässt das System beispielsweise E-Mail schreiben oder deine

Christian: Kundendatenbank aktualisieren.

Stella: Ich würde sagen, jetzt haben wir es, eindeutig. Das war nochmal eine logische

Stella: Zusammenfassung, oder Wolfgang?

Wolfgang: Wobei bei dem zweiten Schritt oder generell die Frage natürlich für mich nochmal

Wolfgang: ist, ich kann es nachvollziehen, was das Modell dann macht.

Wolfgang: Also an welcher Stelle sehe ich dann, wie das Modell zu welchen Entscheidungen gekommen ist?

Christian: Also das System arbeitet schrittweise. Im Grunde wie die Taktung von dem Prozessor

Christian: kann man sich das vorstellen.

Christian: Und dadurch, dass wir im Grunde diese Lösung oder diese Aufgabe in diese vielen

Christian: einzelnen Teile zerschneiden,

Christian: und dadurch, dass wir im Prinzip für jeden einzelnen Teilschritt Logik und Kausalität

Christian: anwenden, also logische Schlussfolgerung, Kausalität heißt, was ist Ursache, was ist Wirkung,

Christian: sind wir in der Lage zu sagen, hier liebes Sprachmodell, hier ist eine Hypothese

Christian: und hier ist ein Set von Einschränkungen und prüfe bitte, ob A auf B passt und

Christian: wenn ja, liefere die zulässigen Hypothesen zurück.

Christian: Dann merken wir uns die im Arbeitsspeicher. Das machen wir im Prinzip für jede

Christian: der Hypothesen, haben am Schluss sozusagen die Anzahl der Hypothesen reduziert.

Christian: Dann können wir die verbliebenen Hypothesen wieder aufs Sprachmodell geben und

Christian: sagen, erzeuge daraus bitte jetzt eine Schlussfolgerung.

Christian: Und zwar in der Art, wie wir Menschen das auch tun.

Wolfgang: Und das wird auch dokumentiert, also im Zweifelsfall kann ich das nachlesen.

Christian: Genau, das wird sozusagen in den Arbeitsspeicher wieder reingeschrieben und

Christian: das hast du dann quasi hinterher in der Ergebniskette quasi explizit als Mensch

Christian: kannst du es ja einfach durchlesen.

Stella: Wie lange dauert denn das Ganze, worüber wir gerade sprechen?

Stella: Wir haben ja darüber gesprochen, wie komplex das Ganze ist, wie schwer teilweise

Stella: jetzt auch in dem Beispiel das Ganze für Mitarbeitende zu beantworten ist.

Stella: Wie lange braucht es, wenn es durchgelaufen ist?

Christian: Also wir haben einen Benchmark gemacht mit dem Dax-Kunden. Die haben das O3-Modell

Christian: von OpenAI benutzt, O3 Pro, glaube ich, also dieses Deep Thinking.

Christian: Das hat für die Überarbeitung knapp 20 Minuten gebraucht mit einem falschen Ergebnis.

Christian: Und wir liegen, ich sag mal, je nach Speed oder je nach Geschwindigkeit des

Christian: Sprachmodells, irgendwas zwischen drei, fünf, manchmal etwas bis,

Christian: ich sag mal, auch mal sieben oder acht Minuten.

Christian: Aber so roundabout kann man sich das vorstellen. Also es hängt natürlich ein

Christian: Stück weit von der Komplexität des Falls ab.

Christian: Es hängt halt ganz stark davon ab, wie oft das System salopp gesagt nachgucken muss.

Christian: Einmal, fünfmal, zehnmal. Aber so, ich sag mal, roundabout in diesen Dimensionen bewegt sich das.

Stella: Und kann ich dieses Nachgucken auch zum Beispiel in Echtzeit dann sehen und

Stella: da irgendwie einschreiten?

Stella: Oder kriege ich quasi, es rattert acht Minuten jetzt sehr vereinfacht gesprochen

Stella: und dann kriege ich das Ergebnis ausgespuckt und kann es dann im Nachgang nachvollziehen?

Christian: Also es geht prinzipiell beides. Unsere Kunden bevorzugen, also man geht immer

Christian: rein und sagt, ja, ja, da will ich aber jeden Schritt sehen,

Christian: weil du einfach als Mensch sozusagen dieses Bedürfnis nach Kontrolle hast und

Christian: dich dem System nicht aussiefern willst.

Christian: In Realität genutzt wird es aber, dass man sagt, okay, wir lassen es einmal

Christian: durchlaufen und gucken uns dann das Ergebnis an, wenn es dann falsch sein sollte

Christian: und dann möchte ich das Ding einfach wieder vornhören.

Christian: Also wir haben die Möglichkeit zu intercepten, wie wir das nennen,

Christian: also praktisch so einen Human in the Loop an jeder Stelle reinzubringen.

Christian: Das ist auch psychologisch gut am Anfang der Zusammenarbeit mit den Kunden,

Christian: weil sie dann sagen, sie liefern sich da nicht irgendwie so einem System aus,

Christian: das sie nicht verstehen, nicht kontrollieren können, was auch immer.

Christian: Aber es wird dann relativ schnell klar, eigentlich brauche ich das gar nicht,

Christian: weil sozusagen die Art, wie das System arbeitet, sehr nah daran ist,

Christian: wie wir Menschen sozusagen logische Schlussfolgerungen treffen.

Christian: Und dann lasse ich das Ding durchlaufen, gucke mir das Ergebnis an,

Christian: beziehungsweise gucke mir erstmal den Lösungsweg an, in Wahrheit.

Christian: Und wenn der Lösungsweg stimmt, über mehrere Schritten hinweg,

Christian: dann ist die Wahrscheinlichkeit extrem hoch, dass auch das Ergebnis passt.

Christian: Und dann brauche ich eigentlich diese Zwischenschritte praktisch nicht mehr.

Stella: Lösungsweg angucken, wie niedrigschwellig ist der denn? Muss ich da jemanden

Stella: hinsetzen, der dann beispielsweise richtig Code versteht?

Stella: Oder ist das wie jetzt bei KI-Chatbots, wo ich eben Text sehe,

Stella: wo ich dann sehen kann, okay, diese Schlüssel wurden gefolgert, das ist die Basis.

Christian: Genau, das ist einfach menschenlesbarer Text. Also den du als Laie auch nachvollziehen

Christian: kannst, steht dann auch drin, das war die Hypothese und die Hypothese ist aus

Christian: dem und dem Grund verworfen worden, weil da irgendwie war eine Randbedingung

Christian: verletzt, also bei diesen Logikrätseln.

Christian: Und da kannst du sagen, und so kannst du quasi mehrere Schritte hinweg quasi

Christian: den Lösungsweg angucken und sagst dann eben, okay, alle diese Zwischenschritte

Christian: sind jetzt aus, wenn wir den Menschen das bezeichnen, wenn wir sagen,

Christian: korrekt schlussgefolgert,

Christian: alle Randbedingungen beachtet, also passt auch das Ergebnis.

Christian: Oder die Wahrscheinlichkeit ist zumindest dann sehr, sehr hoch,

Christian: dass das Ergebnis passt.

Christian: Wenn ihr aber vorher den Lösungsweg angeguckt habt und das Ergebnis ist auch

Christian: schlüssig, so wie früher Mathe, da zählt auch der Lösungsweg ein Stück weit.

Wolfgang: Nun ist ja, denke ich, gerade für Unternehmen das eine die Frage, wie schnell ist das?

Wolfgang: Was kostet mich das? Also wie viel effizienter ist es?

Stella: Da muss ich dich einmal kurz unterbrechen. Merk dir genau das,

Stella: was du sagen willst. Was kostet das Ganze denn für Unternehmen?

Wolfgang: Genau.

Christian: Also wir rechnen das über sogenannte Worker-Credits ab, das heißt quasi also Denkschritte.

Christian: Jeder Denkschritt verbraucht, dadurch dass ein Sprachmodell angebunden ist,

Christian: eine bestimmte Anzahl von Sprachmodell-Tokens und je nachdem wie,

Christian: ich sag mal, umfangreich dein Prozess ist, den du rein wirst,

Christian: brauchst du das Ding halt entweder 10 Worker-Credits oder 100.

Christian: Das hängt einfach ein Stück weit von der Komplexität des Prozesses ab.

Christian: Da gibt es im Prinzip einen List-Price, also 1000 Credit kosten eine Summe X.

Christian: Die ist so gerechnet, dass sie, ich sag mal, wenn man es jetzt quasi in einem

Christian: typischen Investment-Case betrachtet, wo man bestimmte Anforderungen an Rentabilität

Christian: hat, also wie viel Zeit spare ich von einem Mensch, und das muss ich irgendwie

Christian: rechnen, salopp gesagt,

Christian: dass wir weit, weit, weit über diesen typischen Anforderungen liegen,

Christian: ab denen sich das rechnet, ist aber trotzdem noch niedrig genug,

Christian: dass du halt auch im großen Stil Dinge damit tun kannst, weil wir eben nicht

Christian: nur wollen dass ein Kontoöffnungsprozess schneller wird.

Christian: Beispiel von eben, sondern wir wollen, dass Kunden anfangen,

Christian: unsere Technologie zu nutzen, um Prozesse in einer höheren Zahl durchlaufen

Christian: zu lassen, als sie es eigentlich mit Menschen können.

Christian: Beispiel Materialforschung oder wenn ich im Prinzip im Engineering-Bereich bin

Christian: und ich mal ein Design, weiß ich nicht,

Christian: Design ein neues Gebäude und ich kann sozusagen diese Art von,

Christian: also wir nennen das ja Microworker im Prinzip, diese Art von Tätigkeit,

Christian: die das System dann verrichtet.

Christian: Und ich kann plötzlich nicht mehr nur drei Designs machen und mir dann das Beste

Christian: raussuchen, sondern ich habe durch maschinelle Unterstützung kann ich vielleicht

Christian: 300 Designs machen und die Wahrscheinlichkeit, dass aus 300 Designs ein besseres

Christian: drin ist, ist halt relativ hoch.

Christian: Und das muss natürlich so geschnitten sein, dass du sagst quasi die drei Designs,

Christian: wenn du unsere Technologie nutzt, um diese drei Designs schneller zu machen.

Christian: Das ist ein Kostenvorteil, ein Zeitvorteil.

Stella: Kannst du denn den Kostenvorteil noch ein bisschen beziffern?

Stella: Reden wir da über fünfstellige Summen, vierstellige?

Christian: Also ein Denkschritt kostet aktuell im Listenpreis knapp 8 Cent.

Christian: Und da kann man sich, wenn man sagt, jetzt hat ein Prozess, kann man sich ausrechnen.

Christian: Diese Prozesse, von denen wir sprechen, brauchen irgendwie manchmal 30, 40, 50 Credits.

Christian: Muss aber auch sehen, das steht im Gegenwert zu einem Mensch,

Christian: der teilweise da 3, 4, 5 Stunden damit beschäftigt ist.

Christian: Also das rechnet sich, salopp gesagt, relativ schnell, relativ gut.

Stella: Danke einmal für die konkrete Zahl. Wolfgang, ich habe dich ganz frech unterbrochen. Es tut mir leid.

Wolfgang: Das ist eine sehr naheliegende Frage gewesen, die auch immer wieder sehr spannend

Wolfgang: ist, weil es ist ja nicht nur die Frage, wie viel kostet so ein Credit,

Wolfgang: sondern wie viele Credits kommen da so zusammen in einem Durchlauf?

Wolfgang: Wie viele Durchläufe brauche ich denn? Ich hatte das jetzt kürzlich,

Wolfgang: weil ich mich gerade recherchemäßig mit dem Thema beschäftige mit Quantencomputern.

Wolfgang: Und da ist es so, dass zwar ein Durchlauf auch relativ billig ist,

Wolfgang: dass man aber relativ viele Durchläufe braucht,

Wolfgang: sodass du dann für eine Minute locker mal bei 10 Dollar bist und so ein Prozess

Wolfgang: dann aber auch mal 10, 20 Minuten Rechenzeit verbrauchen kann.

Wolfgang: Das heißt, wir sind bei ein paar hundert Dollar für einen Problemdurchlauf und

Wolfgang: das summiert sich dann für so ein Projekt schon mal auf einige tausend Dollar auf.

Wolfgang: Der reine Preis für einen Cycle ist nicht immer das Entscheidende.

Wolfgang: Aber worauf ich hinaus wollte ist, das eine ist Effizienz, also sprich auch

Wolfgang: Kosteneffizienz, Zeiteffizienz.

Wolfgang: Das andere ist aber dann das große Thema Regulatorik.

Wolfgang: Wie passt ihr da rein? Also ihr benutzt ja im Kern immer noch auch Sprachmodelle.

Wolfgang: Du hast vorhin gesagt Open-Weight zum Beispiel, aber auch Close-Source.

Wolfgang: Wie funktioniert das bei euch? Wie könnt ihr euren Kunden da in dieses Framework einpassen?

Christian: Also wir haben zum einen im Grunde ja diese, ich sag mal, Verarbeitungsschritte

Christian: über diese Logikketten, haben wir eben drüber gesprochen.

Christian: Damit kriegst du im Grunde dieses Thema der Nachvollziehbarkeit und der Transparenz

Christian: in die Entscheidungen rein.

Christian: Das ist mal das eine. Das zweite ist natürlich sozusagen, es ist immer noch

Christian: ein Sprachmodell, das heißt das Weltwissen des Sprachmodells basiert am Ende

Christian: des Tages eben darauf, was da an Trainingsdaten reingeflossen sind.

Christian: Das kennst du in den wenigsten Modellen. Wir experimentieren gerade mit dem

Christian: ersten Modell, das komplett offen ist, inklusive Trainingsdaten.

Christian: OLMo 2 von dem Allen-Institut.

Christian: Da machen wir auch relativ gute Erfahrungen. Wir sind relativ sicher,

Christian: dass wir in wenigen Wochen damit quasi auch am Start sein können,

Christian: also dass wir sozusagen funktionsfähige Denkmaschinen mit diesem OLMo-Modell

Christian: irgendwie am Start haben.

Christian: Aber wir können sozusagen das Problem der nicht offengelegten Trainingsdaten

Christian: in einem Llama-Modell, das kriegen wir natürlich nicht gelöst.

Christian: Aber wir können natürlich mit Blick auf die Regulatorik, also mit Blick auf

Christian: die Anwendung im Rahmen unserer Denkmaschine sicher gehen, dass wir,

Christian: ich sag mal so Unit-Test-artig, die also quasi einzelne sehr eng definierte Probe fragen.

Christian: Und nicht nur eine, sondern hunderte oder tausende davon im Prinzip,

Christian: wie würde man sagen, vor Benutzung des Systems einmal definieren,

Christian: und die sozusagen auch im Zeitraum X, pro Woche, pro Monat, im Grunde immer

Christian: wieder durchlaufen, um sicherzugehen, dass wir sozusagen das Basisverhalten des Modells,

Christian: dass das sozusagen nicht deterministisch von uns sozusagen beschreibbar ist,

Christian: aber dass wir mit einer hinreichend hohen Sorgfalt eben Sorge dafür tragen,

Christian: dass wir verstehen, wie sich das Modell verhält.

Christian: Und das eben kombiniert mit den logischen Schlussfolgerungen,

Christian: also mit dieser lückenlosen Nachvollziehbarkeit der logischen Schlüsse,

Christian: die im Übrigen theoretisch auch falsch sein können.

Christian: Also das ist überhaupt nicht, dass die logischen Schlüsse, also Mensch kann

Christian: irgendwie auch eine falsche Schlussfolgerung ziehen.

Christian: Aber das ist sozusagen eine Kombination dieser Nachvollziehbarkeit der Schlüsse,

Christian: und dem Basismodell, auf dem diese Schlüsse sozusagen erzeugt werden,

Christian: nämlich dem Sprachmodell.

Christian: Damit im Grunde diese, würde man sagen, Anforderungen an diese,

Christian: das BSI nennt ja solche Dinge dann Informationsverbund, also sprich das,

Christian: was wir Menschen, würde man sagen, als System bezeichnen,

Christian: dass wir also das Verhalten, dieses sogenannte Informationsverbund,

Christian: damit hinreichend gut erzeugen.

Christian: Bewerten, messen und letztlich halt auch steuern können.

Wolfgang: Worauf ich hinausführe ist, hast du ja gerade schon gesagt, die Trainingsdaten

Wolfgang: zum Beispiel von solchen Modellen wie Lama kennt ihr einfach nicht.

Wolfgang: Wie geht ihr damit um, wenn ein Kunde jetzt sagt, ich möchte aber sicher gehen,

Wolfgang: dass da kein Bias drin ist? Was macht ihr dann?

Christian: Also das sage ich ja. Also im Prinzip, wir können sozusagen den Bias nicht auf

Christian: Ebene der Quelldaten messen. Aber wir können ihn auf Ebene des Verhaltens des

Christian: Modellmessens, indem wir halt im Grunde Testdaten oder Testfragen quasi auf

Christian: das Modell geben und dann eben den Bias messen, der in den Antworten kommt.

Christian: Und im Grunde dann halt, ich sag mal, mit dem Kunden gemeinsam ein Threshold,

Christian: also quasi eine Art von Schwelle definiert, ab der dann eben ein Bias akzeptabel ist oder eben nicht.

Christian: Und wenn man dann sagt, ein Bias ist eben nicht akzeptabel, schlicht und ergreifend,

Christian: dann kommt das Modell nicht in Frage.

Christian: Oder man muss halt im Grunde nochmal einen Antwortfilter vor die Modelle schalten.

Christian: Das können wir sozusagen in unserer Systemarchitektur theoretisch auch abbilden.

Christian: Das ist wie eine Art Compliance-Check. Also man kennt das vorne,

Christian: man hat Compliance-Checks beim Input und du kannst auch theoretisch einen Compliance-Check

Christian: quasi nochmal auf die Ausgabe des Modells setzen.

Wolfgang: Aber im Grunde genommen muss man dann hoffen, dass die Testdaten den realen

Wolfgang: Prozess auch wirklich abbilden. Ich sage das deswegen, weil wir hatten erst

Wolfgang: kürzlich jetzt eine Geschichte, das ist vielleicht auch nochmal ganz instruktiv von Amsterdam.

Wolfgang: Die Stadtverwaltung von Amsterdam hat versucht, eine KI aufzusetzen,

Wolfgang: die über Sozialhilfeanträge entschieden hat.

Wolfgang: Und weil es damit in der Vergangenheit ganz viele Probleme gab,

Wolfgang: haben sie gesagt, okay, wir setzen das Projekt jetzt nochmal ganz sauber auf.

Wolfgang: Das heißt, wir gucken uns auch die Trainingsdatensätze an, wir sorgen dafür,

Wolfgang: dass da kein Bias drin ist und so weiter und so fort. Wir beteiligen Betroffene.

Wolfgang: Das ganze Programm haben sie vorbildlich durchgezogen und es schien auch erst

Wolfgang: zu funktionieren und dann haben sie eine Testphase gemacht von drei Monaten

Wolfgang: und dann haben das verglichen, was die Maschinen gemacht haben mit dem,

Wolfgang: was menschliche Entscheider gemacht haben und haben halt festgestellt, nee,

Wolfgang: in der Praxis war es trotzdem so,

Wolfgang: dass der Bias um 15 Prozent, 15 Prozent zum Teil höher war als bei den menschlichen Entscheidern.

Wolfgang: Und dann haben sie das Projekt stumpf gestoppt, weil sie gesagt haben, wir wissen nicht warum.

Wolfgang: Es kann auch vorkommen.

Christian: Ja, aber der Unterschied ist, dass du im Grunde bei dem, was du gerade beschreibst,

Christian: sitzt die Entscheidung ja im Modell.

Christian: Und bei uns sitzt sie nicht im Modell. Das ist der entscheidende Problem.

Christian: Also wir nutzen das Modell, um Teile der Entscheidung zu verarbeiten,

Christian: aber die Entscheidung an sich entsteht aus dem Wechselwirkung quasi dieses Steuerwerks,

Christian: diesen logischen Axiomen und der aus diesen Schlussfolgerungen,

Christian: die entstandene Schlussfolgerung sozusagen, deren anschließende Validierung.

Christian: Also das heißt sozusagen, diese Wechselwirkung führt halt dazu,

Christian: also ich würde mal sagen, dass man jetzt ex ante, also sprich vorab jetzt nicht

Christian: ausschließen kann, dass irgendeine Art von Bias mit drin ist.

Christian: Aber du kannst ja quasi die einzelnen Verarbeitungsschritte des Modells,

Christian: die kannst du eben mit solchen Testfragen bewerten, messen sozusagen.

Christian: Und im Grunde das, was das Modell in unserem System tut.

Christian: Nämlich die Schlussfolgerung zu ziehen, das kannst du sehr, sehr gut mit diesen

Christian: Testfragen messen, wie gut und zuverlässig diese Schlussfolgerungen sind.

Christian: Und das ist der Fall, den du beschreibst. Ich weiß natürlich nicht genau,

Christian: was Amsterdam wie in welcher Form exakt getan hat.

Christian: Aber das, was man typischerweise tut, dass wir auch bei vielen Kunden sehen,

Christian: wenn wir reinkommen, ist, sie haben halt gesagt, sie geben eine Aufgabenbeschreibung.

Christian: Hier Case XY und das ist der Antrag und hier und das und das.

Christian: Und hier Modell machen wir, salopp gesagt.

Christian: Und dann hast du sozusagen diesen Bias aus der Korrelation, also die statistische

Christian: Korrelation der Trainingsdaten.

Christian: Aber das ist ein fundamental anderes Funktionsprinzip, als das,

Christian: was wir tun in unserem System. Okay.

Wolfgang: Insofern seid ihr da ein Stück weit sicherer. Ein anderer Punkt ist ja,

Wolfgang: wo dann hier zum Beispiel insbesondere Unternehmen vielleicht ein bisschen zögerlich

Wolfgang: sind, was den KI-Einsatz angeht, ist dann halt so die technische Abhängigkeit.

Wolfgang: Also sprich, ich habe im Kern ein großes Sprachmodell, möglicherweise sogar

Wolfgang: ein Closed-Source-Sprachmodell.

Wolfgang: Ich habe irgendwas, was in der Cloud läuft bei irgendwelchen US-Unternehmen und so.

Wolfgang: Kann ich mich darauf verlassen, dass das morgen immer noch so funktioniert,

Wolfgang: wie es heute funktioniert?

Wolfgang: Kann ich mich darauf verlassen, dass die Preise stabil bleiben,

Wolfgang: dass vielleicht die regulatorischen Rahmenbedingungen auch sich nicht grob verändern?

Wolfgang: Bei all diesen Fragen wäre ich relativ zögerlich, also ich würde sagen,

Wolfgang: nee, kann ich mich nicht so drauf verlassen. Wie geht ihr damit um?

Christian: Also wir haben im Prinzip unsere Technologie quasi, also diesen Teil des Steuerwerks

Christian: und des Speichers, von dem ich gesprochen habe. Also das System zur Erinnerung

Christian: besteht aus drei Teilen.

Christian: Sprachmodell, Steuerungsanheit, Arbeitsspeicher.

Christian: Den Teil der Steuerungsanheit und des Arbeitsspeichers kannst du,

Christian: wenn du das möchtest, auf deinen eigenen Server betreiben.

Christian: Du kannst auf einer europäischen Cloud betreiben, kannst auf einem Hyperscanner

Christian: betreiben. Brauchst du nur Linux-Maschinen.

Christian: Und das Sprachmodell, also wir sind Sprachmodell agnostisch per Definition.

Christian: Das heißt nicht, dass man jedes Sprachmodell immer für alles nutzen kann,

Christian: aber prinzipiell kannst du alle hartwegs modernen Sprachmodelle anbinden.

Christian: Und in Kombination mit dem, was wir gerade besprochen haben,

Christian: also mit dem Messen und Bewerten des Verhaltens in Abhängigkeit des Use Cases.

Christian: Aber im Prinzip kannst du quasi alle halbwegs modernen Sprachmodelle anbinden

Christian: und kannst darüber zum Beispiel entscheiden, wir haben zum Beispiel eine Partnerschaft

Christian: mit einem deutschen Cloud-Anbieter,

Christian: dass du ein quelloffenes Modell, das auf einer deutschen Cloud betrieben wird,

Christian: im Grunde als Modell deiner Wahl in unser System einbinden möchtest.

Christian: Alternativ, ich hatte es eben schon mal erwähnt, 5.4, so ein kleines Sprachmodell,

Christian: das quasi auf High-End-Consumer-Grafikkarten passt.

Christian: Die kannst du dir zum Beispiel in einen eigenen Keller stellen.

Christian: Die kosten zwar immer noch, also die sind jetzt, da muss man immer noch ein

Christian: paar Euro auf den Tisch legen, um die zu kaufen, aber sie sind überhaupt lieferbar.

Christian: Im Gegensatz zu den High-End-Karten, auf die du ja teilweise Monate,

Christian: wenn nicht ein, zwei Jahre warten musst und die dir dann sozusagen in Kontingenten

Christian: zugeteilt werden, also sprich, wo du als normales Unternehmen eigentlich gar

Christian: nicht wirklich, gar keine Möglichkeit hast, überhaupt zu erwerben.

Christian: Kannst du im Grunde, wenn wir das System mit kleinen Sprachmodellen anbieten,

Christian: eben auch das komplette System inklusive Sprachmodellen in deinem Keller betreiben, wenn du es möchtest.

Stella: Das heißt, was du gerade ansprichst, durch diese Offenheit sichert ihr euch

Stella: gegen das, was Wolfgang angesprochen hat, wiederum ab. Korrekt.

Stella: Zusammengefasst. Ich habe noch, bevor wir aus der Zeit rausrennen,

Stella: auch eine Frage zu dem ganzen Thema Transparenz, Halluzination.

Stella: Da haben wir noch gar nicht drüber gesprochen.

Stella: Du hast ja sehr ausführlich beschrieben, wie ihr eben mit den Modellen arbeitet,

Stella: diese Steuerungseinheit draufsetzt.

Stella: Und so könnte ich mir vorstellen, ist es dann auch eben, dass das System weniger

Stella: halluzinieren soll. Richtig?

Christian: Genau, also wir sind in der Lage, quasi in diesen Denkketten,

Christian: die ich beschrieben habe, das System erkennt im überwiegenden Teil,

Christian: nicht immer und ich kann es dir nicht garantieren, sozusagen formal juristisch,

Christian: aber im überwiegenden Teil der Fälle, wenn es falsch geschlussfolgert hat.

Christian: Also das System erkennt selbst, ich habe mich in irgendeinem Widerspruch verstrickt.

Christian: Das System ist im Grunde, wenn man sagen, verhält sich so, dass man sagt,

Christian: okay, bevor ich eine falsche Antwort gebe, gebe ich lieber gar keine.

Christian: Das heißt nicht, dass nicht eine falsche Schlussfolgerung durchrutschen kann, salopp gesagt.

Christian: Aber eben dieses Risiko dieser sogenannten false positive, also sprich der Halluzination,

Christian: ist signifikant reduziert gegen moralen, modellbasierten Ansätzen.

Stella: Das klingt jetzt eigentlich immer alles ganz positiv, was du erzählt hast.

Stella: Reduziertes Risiko, natürlich auch, wir hatten über Regulatorik gesprochen,

Stella: Offenheit für andere Modelle, Absicherung, falls eben Unternehmen wegbrechen,

Stella: Zusammenarbeiten nicht mehr klappen.

Stella: Aber es gibt doch bestimmt auch Herausforderungen, mit denen ihr gerade umgehen müsst, oder?

Wolfgang: Genau, was funktioniert nicht so gut?

Christian: Also wenn du, wir hatten es eben schon mit dem Thema Durchlaufzeit,

Christian: also wenn du, ich sag mal, nahe Echtzeitentscheidungen brauchst,

Christian: also wenn es jetzt zum Beispiel um Trading geht,

Christian: hatten jetzt eine Anfrage, da ging es tatsächlich um Kapitalmarkttransaktionen,

Christian: kannst du sagen unter diese, ja weiß ich nicht, drei, vier, fünf Minuten Durchlaufzeit kommt man nicht.

Christian: Man kann natürlich ein bisschen die Performance des Sprachmodells tunen,

Christian: also Durchlaufzeit und kann es vielleicht irgendwie manche Zwischenschritte

Christian: noch verdichten und so weiter, aber wir kommen nicht dahin, dass du sagst,

Christian: das Ding läuft irgendwie zehn Sekunden und trifft ja eine komplexe Entscheidung in dieser Zeit.

Christian: Also das muss man ganz klar sagen, das ist sozusagen eine Constraint.

Christian: Dann sind wir natürlich, wir nutzen faktisch Text als Trägermedium.

Christian: Also so wie ein Prozessor quasi Binärdaten, Nullen und Einsen für Rechnung benutzt,

Christian: nutzen wir unstrukturierten Text, also menschenlesbaren Text,

Christian: als Trägermedium für Gedanken.

Christian: Das hat natürlich immer noch, ich habe das eben schon mal erwähnt,

Christian: eine statistische Restunschärfe, wie ich es mal nenne, bei der Verarbeitung

Christian: durch das Sprachmodell.

Christian: Das Sprachmodell ist ein semantischer Prozessor. Das kann sozusagen bei seiner

Christian: Verarbeitung Fehler machen.

Christian: Das heißt also, da sind wir eben in der Lage, Wenn wir jetzt einen Fall haben,

Christian: wo man sagt, ich brauche eine 100% formal juristische Garantie,

Christian: dass alle diese Ergebnisse also quasi in einem mathematisch.

Christian: Also ein theoretischer Mathematiker, der formal prüfen und nachweisen kann,

Christian: dass 100-prozentige Genauigkeit erreichbar ist.

Christian: Das ist nicht unser Ziel, das können wir nicht und das ist auch erstmal nicht unser Ziel.

Christian: Also da müssen wir halt im Grunde einfach abstufen, dass man sagt,

Christian: die vollautonome Entscheidungsfindung für Fälle, wo dann tatsächlich auch ein

Christian: substanzielles Haftungsrisiko für das Unternehmen besteht, das ist nicht das, was wir tun wollen.

Christian: Sondern wir wollen im Grunde diese, ich will mal sagen, Entscheidungen zwar

Christian: durchführen, auch teilautonom oder auch in einem sehr hohen Autonomiegrad.

Christian: Aber eben dort, wo du als Mensch oder wo du eben als Unternehmen ein Haftungsrisiko

Christian: hast, brauchst du weiterhin einen Menschen dort zu haben.

Christian: Also es ist nicht unser Ziel sozusagen, diese Vollautonomie.

Christian: Und da müssen wir halt in diesem Spannungsfeld zwischen Durchlaufzeiten.

Christian: Zwischen quasi wie oft, also ich hatte es eben, wenn man sagt jetzt im Engineering-Bereich,

Christian: wenn ich mir sage, ich will jetzt 300 Designs von der PKW-Achse,

Christian: statt den drei, die ich als Mensch machen kann,

Christian: da musst du natürlich gucken halt, wie passt das quasi in mein Zeitfenster rein,

Christian: bis ich halt ein finales Design brauche.

Christian: Natürlich muss man da über Kosten sprechen, weil jeder Durchlauf,

Christian: würde man sagen, verbraucht halt nicht Johann, also verbraucht ja diese,

Christian: Denkkredits, aber dahinter liegen ja Sprachmodell-Tokens und wenn ich die halt,

Christian: die muss ich irgendwie einkaufen oder ich habe sie halt quasi im eigenen Keller,

Christian: aber dann muss ich halt die Abschreibung der Grafikkarte und des Computers,

Christian: also da gibt es natürlich halt Constraints, die man warten muss,

Christian: Aber unser Ansatz ist ja zu sagen, wir wollen im Grunde ein neues Paradigma

Christian: erzeugen oder faktisch haben wir das erzeugt und wollen dafür werben,

Christian: dass das KI aus einer Art von Denkmaschine funktioniert strukturell besser als KI aus dem Modell.

Christian: Das ist sozusagen unser Antritt und das ist unser Leistungsversprechen.

Christian: Es funktioniert nicht immer 100% in allen Fällen, weil wir werden immer,

Christian: also solange Modelle im Spiel sind, ist immer stochastische Statistik im Spiel.

Christian: Aber es funktioniert aus den

Christian: genannten Gründen strukturell und signifikant besser als Modelle alleine.

Wolfgang: Es gibt ja in dem Zusammenhang spannende Forschungsarbeiten zu Modellen mit

Wolfgang: anderen Architekturen, zum Teil veränderte Architekturen.

Wolfgang: Meta macht da viel, diesen V-Jasper-Modellen zum Beispiel. Guckt ihr euch sowas an?

Wolfgang: Das wäre ja dann vielleicht nochmal eine Möglichkeit, um aus diesem,

Wolfgang: um aus dieser Begrenzung auch rauszukommen.

Christian: Also wir haben tatsächlich auch gerade im Juli eine eigene Forschungstochter

Christian: gegründet. Ah, sehr interessant.

Christian: Wir werden auch dort jetzt tatsächlich diese Art der Forschung,

Christian: also systembasierte Forschung, modellbasierte Forschung intensivieren.

Christian: Wir behaupten auch nicht, dass wir am Ziel sind, also im Gegenteil,

Christian: wir stehen eigentlich faktisch in Wahrheit am Anfang dieser ich sag mal Systemdiskussion

Christian: oder Architekturdiskussion.

Christian: Und wir glauben, dass wir eigentlich ich sag mal mit der,

Christian: dieser Dreier-Architektur, wie wir sie beschrieben haben, noch ein gutes Stück

Christian: weit kommen werden. Aber das wird sicherlich nicht die einzige Architektur sein

Christian: und es wird auch nicht die letzte Architektur sein.

Christian: Aber wir sagen halt, wir treten dafür an zu sagen, Modelle alleine sind es nicht.

Stella: Klare Aussage. Ihr steht am Anfang, aber wir stehen leider am Ende dieser Podcast-Folge.

Stella: Ich würde dich aber seit ein junges Unternehmen gerne als letzte Frage noch fragen.

Stella: Du hast ein bisschen gerade schon den Ausblick in die Zukunft gegeben.

Stella: Die nächsten fünf Jahre fass einmal ganz knackig zusammen. Was sind da eure

Stella: Ziele bei Embraceable AI?

Christian: Ja, also wir werden jetzt natürlich kurz- bis mittelfristig im Grunde weitere

Christian: Systemgenerationen an den Start bringen.

Christian: Wir werden auch die Fähigkeit für Funktionsaufrufe einbetten,

Christian: wir werden sozusagen die Fähigkeit des Systems prinzipiell erweitern und unser

Christian: Ziel ist es im Grunde in diese Prozesse reinzukommen,

Christian: also in Prozesse, Prozessketten wie wir so besprochen haben,

Christian: wo wir entweder Stand heute nicht schnell genug sind, Stichwort Verwaltung,

Christian: wo wir absehbarerweise durch Verrentung etc.

Christian: Noch längere Bearbeitungszeiten erleiden werden müssen.

Christian: Und insbesondere an die Stellen, wo wir im Grunde neue Wertschöpfung erzeugen

Christian: können, wie beispielsweise Materialforschung oder Design.

Christian: Da wollen wir im Prinzip diese Art von System als im Grunde eine leistungsstarke

Christian: digitale Arbeitskraft reinbringen, nicht um Menschen zu ersetzen in keinster Weise,

Christian: sondern im Grunde die Fähigkeiten zu argumentieren, um mehr Wertschöpfung zu

Christian: erzeugen und insgesamt als Gesellschaft, als Unternehmen, Verwaltung etc.

Christian: einfach schneller zu werden.

Stella: Dann Christian, danke ich dir, dass du heute bei uns zu Gast gewesen bist.

Stella: Dann würde ich sagen, für diese Podcast-Folge von t3n Interview kommen wir zum Ende.

Stella: Schön, dass ihr eingeschaltet habt und wir hören uns nächste Woche mit einer

Stella: neuen Folge wieder. Auf Wiederhören.

Stella: Bei t3n geben wir mit gutem Tech-Journalismus Orientierung.

Stella: Unabhängig, kritisch und zukunftsgewandt. Wenn du das feierst,

Stella: unterstütze uns doch mit einem Abo. Den Link gibt es in den Shownotes.