Unsere RAG-Fallstudie zeigt, wie Herausforderungen im Test- und Messbereich effektiv gemeistert werden können. Mit Large Language Models (LLMs) skalieren wir RAG-Bewertungstechniken, um branchenspezifische Probleme wie mehrsprachige Daten und komplexe Tabellenstrukturen zu lösen. Unsere optimierten Lösungen, darunter eine Vision-Pipeline und Feinabstimmung, haben die Genauigkeit deutlich erhöht und den Nutzen maßgeschneiderter RAG-Anwendungen für den Bereich Wireless Test & Measurement bewiesen.

Retrieval-Augmented Generation (RAG) kombiniert die Stärken von Large Language Models (LLMs) mit gezielten Retrieval-Techniken, um Antworten auf Grundlage externer Daten zu generieren. In dieser Fallstudie lösen wir häufige technische Herausforderungen, wie den Umgang mit mehrsprachigen und branchenspezifischen Daten oder Tabellen als Bilder. Unsere Lösungen haben die Antwortgenauigkeit um 46 % verbessert und zeigen, wie wertvoll maßgeschneiderte RAG-Anwendungen im Test- und Messsektor sind.

Wichtige Erkenntnisse:

1. Eine Vision-Pipeline verbessert die Genauigkeit der Antworten, besonders bei komplexen Fragen.
2. Ein Dialog-Chatbot statt eines einfachen Q&A-Systems verbessert das Nutzererlebnis.
3. Feinabstimmung und kosteneffiziente synthetische Datengenerierung mit LLMs steigern die Retrieval-Leistung von RAG.
4. LLMs zur Nachahmung menschlicher Bewertung bieten eine skalierbare und zuverlässige und vertrauenswürdige Methode zur RAG-Bewertung.

Autoren des Whitepapers:

• Dr. Christian Geishauser, Generative AI Engineer (appliedAI Initiative GmbH)
• Johannes Birk, Generative AI Engineer (appliedAI Initiative GmbH)
• Bernhard Pflugfelder, Head of Generative AI (appliedAI Initiative GmbH)

Wir danken Ihnen für Ihre Beiträge:

• Dr. Paul Yu-Chun Chang, Senior AI Expert: Foundation Models - Large Language Models (LLMs) (appliedAI Initiative GmbH)
• Dr. Ivan Rodriguez, Principal AI Engineer (appliedAI Initiative GmbH)
• Dr. Sebastian Husch Lee, Solution Engineering Tech Lead (deepset GmbH)
• Laura Luckert, Senior Applied NLP Engineer (deepset GmbH)
• Philipp Joppich, Machine Learning Engineer (Rohde & Schwarz GmbH & Co. KG)
• Johannes Steffens, Senior Directory (Rohde & Schwarz GmbH & Co. KG)
• Dr. Andrew Schaefer, Technology Coordinator, AI (Rohde & Schwarz GmbH & Co. KG)