Traffine I/O

日本語

2023-06-18

Pineconeにおける選択的メタデータインデックスの作成

Pineconeにおける選択的メタデータインデックス作成

デフォルトでは、Pineconeは全てのメタデータを自動的にインデックス作成します。これらのメタデータフィールドをインデックス化することで、より具体的なベクトル検索フィルタリングが可能となります。一方、あるメタデータをインデックス作成せずに保存すると、メモリを節約することができます。このアプローチは、多数のユニークなメタデータエントリ(IDなど)を取り扱う際に特に有効で、各ポッドにより多くのベクトルを収容することを可能にします。

選択的メタデータインデックスの設定

新しいインデックスを作成する際、metadata_configパラメータを使用してインデックス化するメタデータフィールドを指定できます。

metadata_config = {
    "indexed": ["desired-metadata-field-name"]
}

indexedリストに必要なメタデータフィールド名を追加することで、開発者はPineconeにどのフィールドをインデックス化するかを明示的に指示することができます。

  • Python
python
metadata_config = {
    "indexed": ["metadata-field-name"]
}

pinecone.create_index("example-index", dimension=128,
                      metadata_config=metadata_config)
  • curl
bash
$ curl -i -X POST https://controller.YOUR_ENVIRONMENT.pinecone.io/databases \
  -H 'Api-Key: YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "example-index",
    "dimension": 128,
    "metadata_config": {
      "indexed": ["metadata-field-name"]
    }
  }'

参考

https://docs.pinecone.io/docs/manage-indexes#selective-metadata-indexing

Ryusei Kakujo

researchgatelinkedingithub

Focusing on data science for mobility

Bench Press 100kg!