LLM-Lösung Chat mit den Firmendaten statt Datenbank-Abfragen

„Welche Kundengruppe hat in den vergangenen beiden Sommern unser Produkt am häufigsten erworben? Haben im deutschen Sprachraum Sonderangebote eine Rolle dabei gespielt?“ Anstatt über Excel-Sheets, Unternehmensdaten und Marketing-Unterlagen zu grübeln und parallel Informatik-Fachleute mit aufwändigen Datenbank-Abfragen zu beauftragen, tippt die Sales-Mitarbeiterin ihre Fragen in natürlicher Sprache ins Chat-Feld eines Large Language Models (LLM) ein. Sekunden später erhält sie eine fundierte Antwort, ergänzt durch eine übersichtliche grafische Aufbereitung von Trends, Mustern und Korrelationen – Grundlage für eine neue, an die Zielgruppe angepasste Werbeaktion.

Mit dem LLM Insight Expert sind jetzt auch IT-Laien in der Lage, derartige datenbasierte Analysen innerhalb kürzester Zeit umzusetzen: Die KI-Technologie übernimmt automatisiert Aufgaben, für die bislang komplexe Such-, Verknüpfungs- und Programmierarbeit notwendig war.

Fehlender Überblick wird zum Kostenfaktor

Studien zeigen, dass weltweit bis zu zwei Drittel der vorhandenen Unternehmensdaten ungenutzt bleiben, weil unterschiedliche Formate sowie fehlende Standardisierung den Zugriff und die Verknüpfung untereinander verkomplizieren. „Gerade in größeren Unternehmen fehlt oft der Überblick über den gesamten „Data Lake“, in dem – verteilt auf verschiedene Standorte und Systeme – relevantes Wissen vorhanden ist“, erklärt Tasneem Tazeen Rashid, Research Engineer am Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS. Das Institut hat die KI-Lösung gemeinsam mit der Kompetenzplattform KI.NRW federführend im Rahmen eines Projekts des Fraunhofer CCIT entwickelt.

Schon auf der Suche nach Datenquellen und Zugangsberechtigungen werden kostbare Ressourcen gebunden, bevor IT-Expertinnen und -Experten zeitintensive Abfragen, womöglich in verschiedenen Programmiersprachen, überhaupt starten können. In großen Firmen versanden in der Folge jährlich Millionenbeträge.

Chat-KI als „Übersetzerin“

„Jede und jeden zur Expertin beziehungsweise zum Experten machen“: Unter diesem Motto erstellt der LLM Insight Expert eine virtuelle Datenbank und verbindet sie mit einem Large Language Model – einer trainierten Sprach-KI, die wie ein GPT-Modell Fragen oder Befehle in natürlicher Sprache sowohl verstehen als auch aus sämtlichen vorhandenen Datenquellen Text und Grafiken erstellen und verarbeiten kann.

Das Large Language Model sammelt Metadaten aus verschiedenen Datenquellen, die im Unternehmen verwendet werden (zum Beispiel aus Quellen wie CSV, Parquet, MongoDB, Cassandra oder MySQL), und überführt sie mittels sogenanntem Data Mapping in ein einheitliches Format.

Dies ermöglicht, die Daten in einem einheitlichen virtuellen Modell (zum Beispiel Tabular) zusammenzuführen, in Beziehung zueinander zu setzen und zusammenzufassen. Diese virtuelle Datenbank kann dann von einer Big-Data-Technologie wie SPARK verarbeitet werden – sie ist speziell dafür ausgelegt, in kürzester Zeit effizient mit riesigen Datenmengen umzugehen. So kann das LLM komplexe Fragen in standardisierte SPARQL-Abfragen übersetzen. Anschließend überführt das LLM die Ergebnisse zurück in natürliche Sprache und Visualisierungen wie beispielsweise Graphen oder Diagramme.

Individuell anpassbar und sicher

Besonders ist dabei, dass der LLM Insight Expert dank der Verwendung verschiedener Open-Source-Software individuell auf jeden Anwendungsfall angepasst werden kann. So sorgt beispielsweise die Multi-Source-Integration dafür, dass sich über Schnittstellen eine große Zahl verschiedener Datenquellen anbinden lässt – genau jene, die im jeweiligen Unternehmen genutzt werden. Und auch die Verwendung und Pflege der gewohnten Metadaten ist dank semantischer (maschinenlesbarer) Verknüpfungen nach einer initialen Zuordnung möglich.

Ein weiterer Vorteil ist der Schutz der Unternehmensdaten: Die Verwendung von Open-Source-LLMs ermöglicht die ausschließlich auf den Anwendungszweck beschränkte Verarbeitung aller Daten und Bereitstellung der gewonnenen Erkenntnisse. So wird sichergestellt, dass die Daten nicht in die Modelle internationaler kommerzieller Betreiber einfließen.

In wenigen Tagen einsatzbereit

Die für das jeweilige Unternehmen und seine Infrastruktur nötigen Anpassungen am System sind schnell bewerkstelligt und das unabhängig von der Datenmenge: Zwischen einem Tag und einer Woche dauert es, bis alle Datenquellen angebunden und die unternehmensintern gebräuchlichen Metadaten einmalig zugeordnet sind. Dann steht der LLM Insight Expert für die Nutzung bereit.

Nächstes Einsatzszenario: effiziente Maschinenwartung

Aktuell werden weitere Einsatzmöglichkeiten des LLM Insight Expert über die Abfrage gespeicherter Unternehmensdaten hinaus erprobt: „In einem ersten Anwendungsfall nutzen wir das Tool zur Maschinenwartung während des laufenden Produktionsprozesses“, erklärt Tasneem Tazeen Rashid.

Möglich macht dies die Integration in das Edge-Cloud-Continuum (ECC), einen kontinuierlichen Datenraum zwischen Cloud-Computing in zentralen Rechenzentren und Edge-Computing nah an den Endgeräten: Aktuelle Maschinendaten, Informationen zur Wartung und Large Language Models werden in einer unternehmenseigenen Cloud gehostet. Dank moderner Sensortechnik werden Norm-Abweichungen sofort erkannt und über die Cloud Rückmeldungen inklusive der entsprechenden Lösungsmöglichkeiten ausgespielt. „Das spart viel Zeit: Sie müssen nicht mehr einzelne Dokumente und Prozesse durchgehen und die Produktion stoppen.“

Für mittlere und große Unternehmen

Ob für den Umgang mit großen Datenmengen aus unterschiedlichen Quellen oder als Assistenzsystem für die Produktion: Der LLM Insight Expert steht bereit, um gerade in mittleren und großen Unternehmen vieles zu vereinfachen – vom Zugriff auf Informationen über Einblicke in Verkaufstrends bis hin zu fundierten Analysen, die rasche und gleichzeitig nachhaltige Entscheidungen unterstützen.

Sie sehen in Ihrem Unternehmen Potenzial für den Einsatz des LLM Insight Experts? Nutzen Sie jetzt die Chance, diese effiziente Lösung gemeinsam mit dem Fraunhofer CCIT in Ihrem Unternehmen zu integrieren.

LLM Insight Experts können Sie hier testen!