Was ist eine Vektordatenbank?

Eine Vektordatenbank dient der Speicherung, Indizierung und Suche von hochdimensionalen Daten. Einfacher ausgedrückt: Sie speichert Daten in einem mathematischen „Array“ aus Zahlen, das als „Vektor“ bezeichnet wird. Diese Vektoren werden aufgrund ihrer Ähnlichkeit zueinander gruppiert. Sie werden typischerweise von Machine-Learning-Modellen generiert und dienen dazu, unstrukturierte Daten wie Text, Bilder, Audio und Video in einem numerischen Format darzustellen, das semantische „Bedeutung“ erfasst. 

Diese Formatierung erleichtert das Ausführen von Abfragen mit niedriger Latenz. Stellen Sie sich das vor wie beim Einkaufen ähnlicher Artikel in einem Supermarkt – Sie würden nicht wollen, dass Äpfel und Bananen in verschiedenen Teilen desselben Ladens platziert sind. Die Fähigkeit für Querys mit niedriger Latenz macht Vektordatenbanken perfekt für KI-Anwendungen, da sie sich an vorherige Eingaben erinnern können.

Was sind Vektoren?

Im maschinellen Lernen ist ein Vektor eine Liste von Gleitkommazahlen ([0,23, -0,11, 0,87, …]), die die Eigenschaften eines Objekts, wie z. B. eines Satzes oder eines Bildes, kodieren. Diese werden oft mit Modellen wie Word2Vec, BERT oder CLIP generiert. Die Idee ist, dass ähnliche Gegenstände Vektoren haben, die im Vektorraum nahe beieinander liegen (das oben aufgeführte Beispiel mit Äpfeln und Bananen). 

Wozu benötigen wir Vektordatenbanken?

Herkömmliche Datenbanken (wie SQL oder NoSQL) sind nicht für die „Ähnlichkeitssuche“ optimiert (wieder einmal Äpfel und Bananen). Vektordatenbanken:

• Ermöglichen Sie effiziente „Nearest-Neighbor“-Suchen, beispielsweise um das ähnlichste Dokument oder Bild zu finden.

• Verarbeiten Sie großflächige, unstrukturierte Daten.

• Unterstützen Sie Funktionen wie die semantische Suche, Empfehlungssysteme und die Erkennung von Anomalien.

• Stellen Sie Indexierungsstrategien bereit (wie HNSW, IVF oder PQ), die wiederum schnelle Abfragezeiten ermöglichen.

Was sind einige gängige Anwendungsfälle für Vektor-Datenbanken?

• Semantische Suche: Suchmaschinen, die Bedeutung verstehen, nicht nur Keywords

• Empfehlungssysteme: Vorschläge von Inhalten oder Produkten basierend auf Ähnlichkeit

• Bild- und Videosuche: Finden visuell ähnlicher Inhalte

• Chatbots und LLM-Speicher: Kontextspeicherung für die abrufgestützte Generierung

• Betrugserkennung: Identifizierung von Verhaltensanomalien anhand von Vektormustern

Wie werden Daten in einer Vektordatenbank gespeichert und wie funktionieren Suchanfragen?

Vektordatenbanken verwenden Algorithmen des „Approximate Nearest Neighbor“ (ANN), um anhand einer Ähnlichkeitsmetrik schnell die Vektoren zu ermitteln, die einem Suchvektor am nächsten liegen. ANN opfert ein wenig Genauigkeit zugunsten eines erheblichen Geschwindigkeitsvorteils, was eine Skalierbarkeit ermöglicht. 

Jeder Eintrag enthält typischerweise:

• den Vektor selbst

• eine optionale Nutzlast (Metadaten wie Textbeschriftungen, Zeitstempel usw.)

• eine eindeutige ID für Abruf und Aktualisierung

Einige Datenbanken ermöglichen die Kombination von Vektorähnlichkeit mit Filterung auf Basis von Metadaten (z. B. „Suche nach Dokumenten, die X ähneln, aber nur in englischer Sprache“).

Was ist der Unterschied zwischen einer Vektordatenbank und einer herkömmlichen Datenbank?

In dieser Tabelle sind einige wesentliche Unterschiede zwischen einer herkömmlichen Datenbank und einer Vektordatenbank aufgeführt.

Welche Vektordatenbanken sind besonders beliebt?

Zu den weit verbreiteten Vektordatenbanken gehören unter anderem:

• Pinecone

• Weaviate

• FAISS (von Meta)

• Milvus

• Qdrant

• Chroma

• Vespa

jeder hat unterschiedliche Stärken, abhängig von Ihrem Anwendungsfall. Zu den wichtigsten Merkmalen zählen unter anderem die Performance, die Integrationen sowie die Verfügbarkeit als Open-Source-Software.

Auch wenn Fastly keine Vektordatenbanken direkt anbietet, trägt unsere Edge-Cloud-Plattform dazu bei, die Auslieferung datenintensiver Apps zu beschleunigen, einschließlich solcher, die von KI und Vektorsuche betrieben werden. Egal, ob Sie Next-Generation-Suchsysteme, Empfehlungssysteme oder Echtzeit-Analyse entwickeln, Fastly sorgt dafür, dass Ihre APIs und Anwendungen schnell, sicher und näher an den Nutzern laufen. Klicken Sie hier, um mehr zu erfahren.