ベクトルDBとその比較について

皆さんは「ベクトルデータベース」(別名:ベクターDB、ドキュメントDB) というものをご存知でしょうか。

データベースと聞くとMySQLやPostgreSQLをはじめとするRDB (リレーショナル・データベース) 、すなわち表形式で管理する従来のデータベースを思い浮かべる方が多いかと思いますが、それとは別の新しい形式のデータベースです。
ここ1〜2年、”AIに適したデータベース”との呼び声でじわじわ話題になっています。

今回はそんなベクトルDBを比較しながら深掘っていきます。

◼︎そもそもベクトルデータベースとは?

「従来のRDBが表形式だとしたら、ベクトルDBはどういった形式なのか?」
そういった疑問が必ず出てくると思いますので、まずはそれを紐解きます。

以下のサイトが参考になりますので、軽く抜粋いたします。
(参照)

https://qiita.com/ksonoda/items/ba6d7b913fc744db3d79

 

単語をベクトルとして考え、「意味空間」の中にプロットするイメージだそうです。
座標の表し方は一般的なベクトル同様、
2次元であれば (a, b)、3次元であれば(a, b, c)
となりますが、ベクトルDBは次元が100まで及ぶこともザラにあります。

どうしても人間は4次元以降の空間を把握できずイメージはつきませんので、変数が100個あるくらいに考えておくのが良いかと思います。

意味の近い単語同士が近くにあり、検索を被るようなイメージですので、LLM (大規模言語モデル) との相性が非常に良いと言われていますね。
これが、最近になって急激に注目され始めた理由とも言えます。

近似度は、「大きさ」と「向き」の類似度によって割り出されるようです。
※「大きさ」の類似度…各データのドット間の距離差
※「向き」の類似度…原点からの角度差

◼︎ベクトルDBの比較を考える

そんなベクトルDBにも様々プラットフォームがあり、各々に特徴があります。どんなベクトルDBがあるのか分からない、また選び方も分からないという方がいると思いますので、そんな方のお役に立てますと幸いです。

(今回参照した記事)

https://www.aireview-nlp.com/vectordb/

上記の表作成者である、Vectorview社の共同創設者エミール・フレーベリ氏の解説を和訳し、以下に共有いたしますので、ご参考にしていただけますと幸いです。

ちなみにこのVectorview社、AIの評価 (安全性、パフォーマンス) や、ビジネスへのAI導入をサポートしている会社らしいのですが、HPのドメインが「.ai」となっていてこだわりが凄いです。
https://www.vectorview.ai/

余談はさておき..。

 

・オープンソースおよびクラウドホスティング:

オープンソースソリューションを選好するなら、Weviate、Milvus、およびChromaが有力候補です。
Pineconeはオープンソースではありませんが、開発者の使いやすさと強力な完全ホスティングソリューションで際立っています。

 

・パフォーマンス:

秒あたりのクエリ数(QPS)に関しては、Milvusがトップで、WeviateとQdrantがそれに続きます。
しかし、レイテンシー(遅延)に関しては、PineconeとMilvusがどちらも2ms未満の優れた結果を提供しています。Pineconeに複数のポッドを追加すれば、さらに高いQPSを達成できます。

 

・コミュニティの強さ:

Milvusは最大のコミュニティを誇り、次いでWeviateとElasticsearchが続きます。
強いコミュニティは、より良いサポート、改善、およびバグ修正に繋がることが多いです。

 

・スケーラビリティ、先進機能、およびセキュリティ:

多くの企業アプリケーションにとって重要な役割ベースのアクセス制御(RBAC)は、Pinecone、Milvus、およびElasticsearchに搭載されています。
スケーリング面では、動的セグメント配置を提供するMilvusとChromaが進化し続けるデータセットに適しています。
幅広いインデックスタイプを必要とする場合、Milvusの11種類のインデックスタイプのサポートは他に類を見ません。ハイブリッド検索は全体的によくサポートされていますが、Elasticsearchはディスクインデックスサポートにおいて劣ります。

 

・価格:

スタートアップや予算に制約のあるプロジェクトには、Qdrantの50,000ベクトルで推定9ドルという価格は魅力的です。
一方、高いパフォーマンスを必要とする大規模プロジェクトには、PineconeとMilvusが競争力のある価格帯を提供しています。

 

まとめ

いかがでしたでしょうか。

ベクトルDBのイメージが沸かないという方や、各種ベクトルDBの特徴・選び方が知りたいという方のお役に立てたなら幸いです。
比較に関しては、理想のDBがあるわけでもなく、ニーズや状況に応じて上記を参考にする形となろうかと思います。

また、最近話題に上がり始めている、SQL構文を扱えるベクターDBのハイブリッドDBにも注目しています。

上記はRDBに慣れている方でも入りやすいかと思いますので、機会があれば詳しく調べ、記事にしたいと思っております。

ここ1〜2年、急速なスピードで進化と変化を繰り返す生成AI、これが今後どうなっていくのか非常にワクワクいたします。

お読みいただきありがとうございました。