(openPR) Wer kennt es nicht? Man möchte ein Bild generieren oder sich die wesentlichen Inhalte eines langen Texts zusammenfassen lassen. Der erste Impuls führt zu einem generativen KI-Dienst basierend auf einem Foundation Model (oft ein großes multimodales Sprachmodell wie GPT-4o), der mittels Texteingabe das gewünschte Bild bzw. die gewünschte Zusammenfassung generieren soll. Leider können die Ergebnisse der ersten Versuche oft unbefriedigend oder auch fehlerhaft sein.
Die breiten Einsatzmöglichkeiten von Foundation Models und die damit verbundene mögliche Beschleunigung von Prozessen treiben dabei auch deutsche Sicherheitsbehörden um. Projiziert man das Anwendungsbeispiel der Textzusammenfassung allerdings auf den Sicherheitskontext – bspw. ein Soldat, der ein solches Tool zur Zusammenfassung eines langen Befehls nutzt – erfährt die mögliche Fehlerquelle eine wesentlich umfassendere Bedeutung. Bisher existieren speziell für den Sicherheitskontext noch keine umfassenden Tests (sogenannte Benchmarks), um die Einsatzmöglichkeiten vortrainierter Foundation Models evaluieren zu können.
Vor diesem Hintergrund startete am 04. Juni 2025 das Forschungsprogramm HEGEMON („Holistische Evaluation GEnerativer Foundation Models im SicherheitskONtext“) der Cyberagentur. Aufgerufen sind Universitäten, Hochschulen, Forschungseinrichtungen, Unternehmen und Startups, sich daran zu beteiligen. Das Programm wird als mehrjähriger Forschungswettbewerb mit mehreren Phasen und hohem disruptivem Potenzial durchgeführt.
„Mit HEGEMON schaffen wir ein einzigartiges Experimentierfeld, um die umfassende Bewertung generativer KI-Modelle im Sicherheitsbereich systematisch zu ermöglichen – jenseits bisheriger Benchmark-Routinen“, sagt Dr. Daniel Gille, Projektleiter des Programms und Leiter Künstliche Intelligenz in der Cyberagentur. „Wir laden alle forschungsstarken Akteure ein, sich an dieser Herausforderung zu beteiligen.“
Das Forschungsprogramm adressiert eine zentrale Lücke der aktuellen KI-Entwicklung: Foundation Models wie ChatGPT, Midjourney oder Claude werden international – mehrheitlich von privatwirtschaftlichen Unternehmen zumeist in den USA und China – entwickelt, sind oft intransparent in ihren Trainingsdaten und Modellarchitekturen und dominieren zunehmend auch sicherheitskritische Bereiche. Gerade im deutschen und europäischen Kontext fehlt es an Möglichkeiten, diese Modelle umfassend, vergleichend und nachvollziehbar zu evaluieren – insbesondere in Bezug auf komplexe, multimodale Aufgaben und Anwendungen mit hohen Anforderungen an Sicherheit und Faktizität.
Ziel von HEGEMON ist die Entwicklung domänenspezifischer, ganzheitlicher Benchmark-Sets (bestehend aus Aufgaben, Metriken und Testdatensätzen) sowie angepasster KI-Modelle für festgelegte Anwendungsfälle. Diese Kombination aus Benchmark- und Modellentwicklung wird in einem Wettbewerbsszenario erprobt, bei dem alle Teilnehmenden ihre Lösungen gegenseitig evaluieren – eine „Jeder-gegen-Jeden“-Struktur mit integriertem Red-/Blue-Teaming zur Robustheitsprüfung.
„Wir denken die Evaluierung großer Modelle neu“, so Projektleiter Dr. Daniel Gille weiter. „Die angestrebten Benchmarks sollen nicht nur messen, was technisch möglich ist, sondern auch, was sicher, erklärbar und anwendungsrelevant ist.“
Im Vordergrund stehen drei Use Cases aus dem Geoinformationswesen:
• die Erzeugung nachvollziehbarer Text-Zusammenfassungen zu länderspezifischen Themen,
• die Umwandlung von Fernerkundungsdaten in Vektordaten,
• sowie ein Karten-Chatbot mit intelligenter Textausgabe auf Kartenbasis (bspw. „Gibt es auf dieser Karte medizinische Einrichtungen? Bitte teile die Koordinaten mit, falls sie vorhanden sind.“).
Zur Umsetzung setzt die Cyberagentur auf das bewährte Verfahren der Vorkommerziellen Auftragsvergabe (PCP). Es erlaubt eine risikobehaftete, aber vollständig finanzierte Forschung außerhalb des regulären Vergaberechts. PCP ist ideal für disruptive Projekte, bei denen noch keine ausgereiften Marktprodukte existieren – also exakt für den Forschungsgegenstand von HEGEMON. Teilnehmerinnen und Teilnehmer behalten ihre Verwertungsrechte, was die Innovationsfähigkeit zusätzlich stärkt.
Die Ausschreibung ist der erste Schritt in einem mehrphasigen Forschungsprozess, der sich über insgesamt drei Jahre erstreckt. Dabei werden nach einer Evaluationsphase drei Interaktionszeitpunkte definiert, an denen Benchmarks und Modelle systematisch verglichen, verbessert und erneut evaluiert werden.
Im Supplement zum Amtsblatt der Europäischen Union wurde die Ausschreibung mit der Auftragsbekanntmachungsnummer TED 358520-2025 (https://ted.europa.eu/de/notice/-/detail/358520-2025) veröffentlicht. Einreichungsfrist für das Kurzkonzept ist der 31.07.2025, 10:00 Uhr. Eine Beteiligung ist sowohl allein als auch im Konsortium möglich.
Kontakt:
Agentur für Innovation in der Cybersicherheit GmbH
Große Steinstraße 19
06108 Halle (Saale)
Michael Lindner
Pressesprecher
Tel.: +49 151 44150 645
E-Mail:
Hintergrund: Cyberagentur
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) wurde im Jahr 2020 als vollständige Inhouse-Gesellschaft des Bundes unter der gemeinsamen Federführung des Bundesministeriums der Verteidigung und des Bundesministeriums des Inneren und für Heimat durch die Bundesregierung mit dem Ziel gegründet, einen im Bereich der Cybersicherheit anwendungsstrategiebezogenen und ressortübergreifenden Blick auf die Innere und Äußere Sicherheit einzunehmen. Vor diesem Hintergrund bezweckt die Arbeit der Cyberagentur maßgeblich eine institutionalisierte Durchführung von hochinnovativen Vorhaben, die mit einem hohen Risiko bezüglich der Zielerreichung behaftet sind, gleichzeitig aber ein sehr hohes Disruptionspotenzial bei Erfolg innehaben können.
Die Cyberagentur ist Bestandteil der Nationalen Sicherheitsstrategie der Bundesrepublik Deutschland.
Der Cyberagentur stehen Prof. Dr. Christian Hummert als Forschungsdirektor und Geschäftsführer sowie Daniel Mayer als kaufmännischer Direktor vor.
wissenschaftliche Ansprechpartner:
Dr. Daniel Gille, Projektleiter des Programms und Leiter Künstliche Intelligenz in der Cyberagentur
Originalpublikation:
https://www.cyberagentur.de/presse/hegemon-erforscht-bewertung-und-anpassung-generativer-foundation-models-fuer-sicherheitskritische-anwendungen/
