Benchmark-System Quantencomputing

Stand der Technologie als entscheidenden Faktor für die Bewertung der Technologieauswahl festlegen

Hintergrund

Die Bedeutung des Quantencomputings im internationalen Wettbewerb nimmt rasant zu und so wird auch eine auf technologische Souveränität ausgelegte Förderung immer wichtiger. Dabei ist eine technologieoffene Fördermittelvergabe mit Fokus auf den Stärken der deutschen Industrie essenziell für den Aufbau eines ökonomisch nachhaltigen Quantenökosystems Deutschland. Die Auswahlprozesse des BMWK/DLR sind nach Meinung der deutschen Industrie im Hinblick auf die Entwicklung von Quantencomputern verbesserungsfähig Vor dem Hintergrund der hohen Bedeutung von Quantencomputern für unsere zukünftige Industriegesellschaft und der bereits bestehenden Lücke zu US-amerikanischen Herstellern von Quantencomputern ist der Handlungsdruck hoch und die staatlichen Prozesse müssen transparent, technologieoffen und zügig erfolgen Die deutsche Industrie fordert dies nachhaltig zu verändern. Dazu gehört die Kriterien für die Technologieauswahl und den Technologieeinkauf nachvollziehbar und auf die Reife und das Potenzial der Technologie auszurichten. Die deutsche Industrie schlägt ein Benchmark-System vor, welches den aktuellen Stand der Technologie durch echte Anwendungsfälle abbildet und als Basis für die Bewertung der Technologieauswahl und der erfolgreichen Ausgestaltung der Ausschreibungen dienen kann. Daneben ist ein solches BenchmarkSystem als Guideline für Anwender-Industrien ein wichtiger Schritt in der Etablierung des deutschen Quantenökosystem. Die deutsche Industrie bietet hierfür ihre Expertise für die gemeinschaftliche Erarbeitung eines solchen Benchmark-Systems mit BMWK/DLR und BMBF/VDI an. Dieses Papier fasst erste Überlegungen seitens der Unternehmen zusammen

Bestehende Systeme

Benchmarking ist eine Methode, um den Fortschritt in der Quantencomputing-Industrie zu vergleichen und voranzutreiben. Ein Benchmark ist dabei eine standardisierte Arbeitslast, die zum Vergleich von Computersystemen verwendet wird. Das Benchmarking von Quantensystemen ist aufgrund der Komplexität der verschiedenen Fehlertypen, die durch Zustandsvorbereitung, Kohärenz- und Messfehler verursacht werden, sowie der Notwendigkeit, mit sich schnell entwickelnder Hardware, Software und Algorithmen umzugehen, eine Herausforderung.

Leistungsmetriken (z. B. Ein- und Zwei-Qubit-Gate-Treue; Dauer, die ein Qubit Quanteninformationen speichern kann) auf Komponentenebene liefern viele Informationen über eine Maschine, weisen jedoch mindestens zwei wichtige Einschränkungen auf. Erstens reichen Leistungsmetriken auf Komponentenebene normalerweise nicht aus, um die Leistung eines Geräts anhand eines Algorithmus genau vorherzusagen. Zweitens ist es für einen potenziellen Quantencomputerbenutzer oft schwierig, aus Metriken auf Komponentenebene vorherzusagen, wie seine Anwendung funktionieren wird.

Daher gibt es verschiedene Arten von Benchmarks. Von Low-Level-Benchmarks, die den Vergleich von Quantensystemen für Hardware und Algorithmen ermöglichen, aber für reale Anwendungen nur begrenzt anwendbar sind, bis hin zu Anwendungsbenchmarks, die auf industriellen Problemen basieren und den Fortschritt in Richtung kommerziell relevanter Probleme lenken und vorantreiben können. Standardisierte Benchmarks bilden die dritte Säule, um Systemdesigns zu vergleichen.1

• Ein Beispiel für ein Anwendungsbenchmark wäre der Q-Score. Dieser Test misst die Leistung eines Quantenprozessors bei der Lösung von Optimierungsproblemen.

• Beispiele für Low-Level-Benchmarks sind u. a. Hardware-Charakterisierungen, wie die Qualität der Qubits (Lebensdauer, Fidelity single-gate/two-gates), Konnektivität und Clock-Rate

• Ein Beispiel für ein Standard-Benchmark ist der Quantum Volume-Benchmark, der vielfältige Aspekte von Quantencomputern, wie die Anzahl der Qubits, die gate fidelity und die Fehlerraten in einer einzigen Metrik, erfasst. Diese Metrik kommt in der heutigen NISQ (Noisy Intermediate-Scale Quantum)2-Ära zur Anwendung, d.h. die Ergebnisse, die man heutzutage von einem Quantencomputer erhält, sind ohne Fehlerkorrektur kaum von Rauschen zu unterscheiden. Entsprechende verfügbare beziehungsweise kosteneffiziente Quantum Error Correction muss demnach bei Hardware-Benchmarks ein entscheidender Faktor sein.

Die verschiedenen Benchmarks konzentrieren sich auf einzelne Aspekte von Quantensystemen Das Quantum Volume Benchmark ist beispielsweise gut zum Vergleich innerhalb eines Technoliegeansatzes geeignet, berücksichtigt jedoch nicht die Konnektivität sowie die Clock-Rate und kann daher nur eine Metrik von mehreren sein. Derzeit sind Benchmark-Aktivitäten häufig auf Aspekte auf niedriger Ebene, wie z. B. Gate-Treue ausgerichtet Es fehlt an Anwendungs- und End-to-End-Benchmarks, die die Entwicklung in Richtung realer Probleme treiben

Um einen umfassenden Überblick zum Stand des Quantencomputings zu bieten, ist es wichtig, Benchmark-Suiten, d.h. eine Kombination mehrerer Benchmarks und der verschiedenen Benchmarkarten, zu entwickeln.

1 https://digitaleweltmagazin.de/fachbeitrag/quantum-computing-towards-industry-reference-problems/ abgerufen am 13.02.23

2 J. Preskill; Quantum Computing in the NISQ era and beyond; 2018; arXiv:1801.00862v3

Wir gehen davon aus, dass umfassende Benchmark-Suiten auf allen Ebenen unerlässlich sind, um den Fortschritt hin zu hochwertigen Anwendungen zu steuern, die einen potenziellen Quantenvorteil bieten. Darüber hinaus sind standardisierte Benchmarks, die auf der Grundlage dieser Probleme entwickelt wurden, unerlässlich, um den aktuellen Stand des Quantencomputings zu verstehen (z. B. Problemgrößen, Leistung, Skalierbarkeit), Best Practices zu veranschaulichen und Vorhersagen über den Fortschritt des Quantencomputings zu treffen. Benchmarks auf Anwendungsebene sind ganzheitlich und berücksichtigen das gesamte Stack aus Hardware, Betriebssystem, Middleware, klassischen Ressourcen und das Zusammenspiel der einzelnen Komponenten. Hierbei ist es für reale Anwendungen essenziell, neben Quantenressourcen auch die erhebliche klassische Verarbeitung von Information und die entsprechenden Wechselwirkungen in die definierten Benchmarks einzubeziehen. Andernfalls sind unsere Messwerte nicht repräsentativ für reale Anwendungen3 Solche Benchmarks helfen nicht nur bei der Identifizierung des optimalen Quantencomputersystems für eine bestimmte Anwendung, sondern diese Metriken geben auch Hinweise für eine Leistungsverbesserung für Systementwickler. Ferner ist es notwendig, dass die Benchmarks auch zukünftige Entwicklungen miteinbeziehen, insbesondere neuartige Rechnerarchitekturansätze, neue komplexe Anwendungsfälle und neue Quanten- und klassische Algorithmen.

How to Benchmark

Seitens der deutschen Industrie empfehlen wir ein Benchmark-System für staatliche Ausschreibungen, das Hardware Quantencomputing-Entwicklungen und Quantencomputing-Anwendungen zunächst innerhalb jeder Technologieplattform mit den international führenden Lösungen vergleicht. Aufbauend darauf kann gezielt an einem Vergleich der Hardwaretechnologieplattformen untereinander gearbeitet werden.

1. Referenzprobleme treiben

Um eine strukturierte Untersuchung und zukünftiges Benchmarking zu unterstützen, schlagen wir die Verwendung von Referenzproblemen vor. Die verschiedenen Anwendungsfälle haben verschiedene mathematische Formulierungen und Algorithmen, die für verschiedene Arten von Quantenhardware und -systemen geeignet sind. Für das von diesen Problemen getriebene Hardware-Software-Co-Design ist es wichtig, standardisierte Referenzprobleme zu erstellen, um Designs zu leiten und den Kompromiss zwischen diesen Lösungen zu bewerten. Durch die Ableitung von Referenzproblemen aus unterschiedlichen Domänen / Branchen kann die Eignung zugrundeliegender Methoden und der Reifegrad der Technologie bewertet werden. Dieser Ansatz ermöglicht die Untersuchung von Hardwareeigenschaften für reale Industrieanwendungen.

Ein Referenzproblem umfasst eine Beschreibung einschließlich einer Bewertung des Geschäftswerts, einer Analyse der Problemklasse, mögliche mathematische Formulierungen, Quantum Error Corrections und Quantenlösungen. Die Industrie hat einen breiten Erfahrungsschatz zur Identifikation von Referenzproblemen.1

2.

Aus den gesetzten Referenzproblemen lassen sich Benchmark-Suiten für Industrieprobleme erstellen. Dazu müssen Referenzimplementierungen entwickelt werden, die aus konfigurierbaren Workloads und

Datensätzen mit unterschiedlicher Komplexität und definierten Metriken bestehen. Ein Beispiel zu einem Benchmark Framework findet sich im Open-Source QUantum computing Application benchmaRK (QUARK)4

Das QUARK-Framework zielt darauf ab, die Entwicklung von Benchmarks auf Anwendungsebene zu erleichtern und flexibel auf verschiedene Anwendungen anpassbar zu sein Das Framework vereinfacht den End-to-End-Prozess des Entwerfens, Implementierens, Durchführens und Kommunizierens von Anwendungs-Benchmarks. Darüber hinaus ist es herstellerunabhängig, wodurch die Neutralität des Systems gewährleistet wird Das Framework besteht aus fünf modularen Komponenten: Der Benchmark-Manager ist für die Orchestrierung der Gesamtausführung des Benchmarks verantwortlich. Die Komponenten Application, Mapping, Solver und Device kapseln verschiedene Aspekte eines Benchmarks. Darüber hinaus erstellt das Framework automatisch verschiedene Analysediagramme.

3. Benchmark-Suiten erstellen

Aus den Referenzimplementierungen lassen sich dann die zu verwendenden Benchmark-Suiten ableiten. Die Benchmark-Suite soll einerseits die Fähigkeit von Quantenhardware bewerten, sinnvolle Rechenaufgaben erfolgreich auszuführen und verschiedene Geräte und konkurrierende Technologien vergleichbar machen, andererseits aber objektive Kriterien für die Machbarkeit und Kosteneffizienz von Fehlerkorrekturen liefern Hier ist aktuell noch viel Entwicklungsarbeit zu leisten, um die Anwendungsfälle sinnvoll integrieren zu können.

Bis dahin bilden Benchmarks aus ausgewählten Standard-Algorithmen wie dem Benchmark-Ansatz vom QED-C5, 6 (Quantum Economic Development Consortium) interessante erste Ansätze. Dieser Standard wurde von der amerikanischen Quanten-Industrie entwickelt und ist frei verfügbar Diese Benchmarking-Suite basiert auf einer Vielzahl bekannter Quantenalgorithmen und wurde entwickelt, um die Effektivität von Quantenhardware bei der Ausführung von Anwendungen zu untersuchen und Proxys für die Qualität und die Zeit bis zur Lösung für die entsprechende Anwendung zu messen. Diese Analyse ermöglicht es, die Leistung unterschiedlicher Quantencomputergeräte bei denselben Aufgaben leicht zu vergleichen.

Diese Benchmarking-Suite soll verwendet werden, um die Leistung verschiedener Geräte und konkurrierender Technologien zu vergleichen Daher gibt es vom Benutzer anpassbare Aspekte, die sowohl explizite Eingaben (d. h. anpassbare Variablen) der Benchmarking-Routine sein können, als auch Details darüber, wie die Benchmarks implementiert werden, die nicht formal durch das BenchmarkingVerfahren spezifiziert sind. Für die entsprechenden konkreten Anwendungen müssen vorab Variablen und Benchmarkimplementierungen abgeleitet werden. Eine Erweiterung dieser Benchmarks zu applikationsspezifischen Metriken kann ein nächster Schritt sein.

4. Weiter denken

Neben der Implementierung von Benchmarks bedarf es einer kontinuierlichen Entwicklung und Verbesserung. Dabei muss insbesondere der daran anknüpfende Aufwand wie die Überprüfung der Lösungen oder die Weiterentwicklung und Unterstützung für Hardware-Entwickler in der Optimierung mitgedacht werden.

4 J. R. Finžgar et al ; QUARK: A Framework for Quantum Computing Application Benchmarking; 2022; arXiv:2202.03028v3

5 T. Lubinski et al.; Application-Oriented Performance Benchmarks for Quantum Computing; 2023; https://arxiv.org/pdf/2110.03137

6 T. Lubinski et al.; OptimizationApplications as Quantum Performance Benchmarks; 2023; https://arxiv.org/pdf/2302.02278.pdf