KIOXIA schafft 4,8 Milliarden hochdimensionale Vektorsuchen auf einem Server​

(Auszug aus der Pressemitteilung)

KIOXIA Europe GmbH hat die erfolgreiche Demonstration der KIOXIA Corporation bekannt gegeben, die zeigt, dass hochdimensionale Vektorsuchen auf 4,8 Milliarden Vektoren auf einem einzigen Server skaliert werden können. Grundlage dafür ist die Open-Source-Technologie KIOXIA AiSAQ für Approximate Nearest Neighbor Search (ANNS). Darüber hinaus konnte das Unternehmen durch GPU-Beschleunigung mit Hilfe der cuVS-Bibliothek von NVIDIA die Zeiten für die Indexerstellung signifikant verkürzen. Diese beiden Erfolge stellen einen wichtigen Fortschritt für RAG (Retrieval Augmented Generation)-Suchlösungen dar. Die weitere Entwicklung zielt nun darauf ab, auch größere Deployments jenseits von 4,8 Milliarden Vektoren zu unterstützen.

Die Indexerstellung in großen Vektordatenbanken stellt für die Branche einen zentralen Engpass dar. In Zusammenarbeit mit NVIDIA konnte KIOXIA eine bis zu 20-fache Verbesserung der Indexierungszeiten bei Verwendung der AiSAQ-Technologie für hochdimensionale Vektoren mit 1.024 Dimensionen erzielen und die Ende-zu-Ende Build-Zeiten um das bis zu 7,8-Fache reduzieren. Konkret bedeutet das eine Reduktion von 28,4 Tagen auf 1,4 Tage für die Indexerstellung mit vier NVIDIA Hopper GPUs und eine Verringerung der Gesamtdauer von 31 auf 4 Tage.¹

KI-Anwendungen können nun auf größere Mengen vektorisierter Informationen zugreifen, die auf SSDs gespeichert sind und mehrere zehn Milliarden Vektoren umfassen, da DRAM allein selbst im Milliardenbereich unpraktikabel wird. KIOXIA AiSAQ ermöglicht eine hochskalierbare Speicherarchitektur, die Milliarden von Suchvorgängen unterstützt, die Latenzanforderungen von RAG-Anwendungen erfüllt und durch GPU-beschleunigte Indexerstellung auf einem einzigen Server große Bereitstellungen realisierbar macht, etwa in einer Milvus-VektorDB-Umgebung.

AiSAQ: Quelloffene Skalierung für RAG​

Erstmals im vergangenen Jahr vorgestellt, adressiert die Open-Source-Software KIOXIA AiSAQ Skalierungsherausforderungen bei RAG-Anwendungen, indem Vektorsuchen direkt von SSDs durchgeführt werden können und der DRAM-Bedarf reduziert wird. Die Technologie bietet hohe Skalierbarkeit, eignet sich für Multi-Tenant-Umgebungen ebenso wie für monolithische Index-Deployments im großen Maßstab. KIOXIA AiSAQ nutzt einen innovativen Global-Index-Algorithmus, der hybride Cluster-Bildung und Graph-Suche kombiniert, um effiziente Vektorsuchen im Extremmaßstab zu ermöglichen. Mit flexiblen Anpassungsoptionen zur Balance zwischen Leistung und Skalierbarkeit großer Vektorvolumina macht die Software hochskalierte Deployments leichter zugänglich und einfacher erweiterbar.

„Vektordatenbanken bilden das Rückgrat für KI-Anwendungen, die Intention, Kontext und Ähnlichkeit in riesigen, unstrukturierten Datensätzen in Echtzeit erkennen müssen“, erklärt Jason Hardy, Vice President, Storage Technologies bei NVIDIA. „Durch die Nutzung GPU-beschleunigter Indexierung mit der cuVS-Bibliothek von NVIDIA unterstützt KIOXIA hochdimensionale Vektordatenbanken, die sowohl skalierbar als auch effizient in der Indexerstellung sind.“

„Die Skalierung von Vektorsuchen im Milliardenbereich auf einem einzigen Server ist ein Meilenstein für die Branche“, betont Axel Störmann, Chief Technology Officer & Vice President bei KIOXIA Europe. „Mit der SSD-basierten KIOXIA-AiSAQ-Vektorsuche und GPU-beschleunigter Indexierung durch NVIDIA cuVS reduzieren wir die Zeiten für die Indexerstellung von Wochen auf Tage – ein entscheidender Schritt, um RAG-Systeme im großen Maßstab effektiv zu betreiben.“

KIOXIA setzt sich weiterhin dafür ein, KI-Lösungen mit speichergetriebener Architektur voranzutreiben, die intelligente Datenverarbeitung im großen Maßstab unterstützen, und entwickelt KIOXIA AiSAQ kontinuierlich weiter, um künftig sogar Billionen-Vektor-Deployments zu ermöglichen.

Anmerkungen:​

1: Insgesamt wurden 19,66 TB an Vektordaten für diesen Benchmark verarbeitet. Die Performance oder Benchmark-Ergebnisse können je nach Host Device, Lese- und Schreibkonditionen, Datengrößen und anderen Faktoren variieren.