向量数据库支持分布式一概述在AI的向量检索场景中（例如RAG），随着数据量的增多，单机的openGauss已经不能满足低时延的要求。例如：某客户RAG场景存在5000w的向量数据，但是单机内存容量有限，无法将这些数据全部load到内存进行检索，进而导致时延过高；在全内存场景下，在vectorbenchmark 1M的数据集下，openGauss的但并发P99时延在20ms左右，100M数据集下，openGauss单并发P99时延在90ms左右。为解决上述问题，实现了openGauss向量分布式能力，在大数据量下，通过将数据进行分库分表来实现openGauss向量检索的scale out能力，突破物理资源的限制 spqplugin_v2是基于openGauss的轻量级的分布式数据库扩展插件，自openGauss 7.0.0-RC2版本开始引入。基于1个CN节点和若干个DN节点构建成数据库集群，支持将大数据量表分片存储，实现并行查询与横向扩展。现阶段该插件未合入主干分支，需自行在 (https://gitcode.com/opengauss/spq_plugin_v2) 编译出docker镜像包，下述安装及使用教程都是基于docker镜像环境二约束使用约束 - 仅支持在A模式数据库创建。 - 安装插件需要先配置shared_preload_libraries，再执行create extension。 - 不支持删除插件。 - 不支持分布式表相关的复杂查询，包括：JOIN，子查询，CTE，window function等。 - 不支持分区表。 - 不支持Mysql兼容性插件，线程池，PBE优化。三使用教程 1 环境要求 - 至少2个携带spq插件库的openGauss实例，1个作为CN，其他实例作为DN； - CN和DN之间节点能够互通 2 SPQ相关配置 2.1 CN节点的postgresql.conf必须有如下配置： shard_preload_libraries = 'spq' #spq必须是第一个 enable_thread_pool = off #必须关闭线程 enable_pbe_optimization = off # 关闭pbe优化 2.2 DN节点的postgresql.conf必须有如下配置： shard_preload_libraries = 'spq' #spq必须是第一个 enable_thread_pool = off #必须关闭线程 listren_addresses = 'localhost, #当前DN节点网卡IP' 2.3 DN节点的pg_hba需要增加如下配置，接收来自CN节点的所有用户连接： host all all CN节点IP/32 trust 3 创建数据库和SPQ插件登录所有CN和DN节点，创建同名数据库，并在同名数据库执行CREATE EXTENSION SPQ；命令创建插件，例如：如果有1个CN节点和2个DN节点，我们需要在testdb数据库下创建spq分布式集群，则我们需要登录所有节点，在每个节点上执行如下命令： CREATE DATABASE testdb; \c testdb CREATE EXTENSION spq; 3.1 节点管理例如我们有三个openGauss实例，分别为CN、DN1、DN2，则我们通过如下命令，演示如何管理集群中的实例 3.1.1 spq_set_coordinator_host 搭建SPQ环境时先对节点架构进行配置，第一步先指定CN节点信息。通过spq_test_coordinator_host函数将某个实例设置为SPQ集群的CN节点，一般在CN节点环境上执行，例如： SELECT * from spq_set_coordinator_host('127.0.0.1',CN节点端口号)； 3.1.2 spq_add_node 第二步增加DN节点信息。增加完DN节点后，SPQ环境搭建成功。通过函数spq_add_node，将某个实例作为DN节点添加到当前集群中，例如： SELECT * from spq_add_node('DN1 IP', 5432); SELECT * from spq_add_node('DN2 IP', 5432); 3.1.3 spq_remove_node 通过函数spq_remove_node可将某个节点从集群中移除，要求该节点中在移除前不存在任何集群数据，否则移除失败，例如： SELECT * from spq_remove_node('DN2 IP'，5432) 3.1.4 spq_update_node 在openGauss集群中，节点添加完成后，其信息存储在表pg_dist_node里，函数spq_update_node将node_id为节点ip和节点port更新为新值： SELECT * from pg_dist_node; 查看节点信息例如，将spq集群中nodeid=1的节点，更新其port为9577，则需执行： SELECT * from spq_update_node(1, 'DN1 new ip', 9577); 注意，nodeid为pg_dist_node表中对应的nodeid 3.1.5 spq_get_active_worker_nodes 函数spq_get_active_worker_nodes()用于获取集群中活跃DN节点的个数，例如: SELECT * from spq_get_active_worker_nodes(); 3.1.6 spq_check_connection_to_node 函数spq_check_connection_to_node用于检查当前CN节点和其他DN节点的连通性，例如： SELECT * from spq_check_connection_to_node(‘DN1 IP’,5432); 3.2 分布式表管理 3.2.1 create_distributed_table 创建分布式表函数create_distributed_table(table_name regclass,distribution_column text,distribution_type__$spq$__.distribution_type DEFAULT ‘hash’,shard_count int DEFAULT NULL)，其中，table_name是要创建分布式表的表名，distribution_column是分布列列名，distribution_type为分区的方法，当前仅支持hash分区，shard_count是分片数量，不指定时默认为spq.shard_count。创建分布式表，首先要创建一张普通表，然后调用函数将普通表转化为分布式表，例如： 1)创建本地表： CREATE TABLE IF NOT EXISTS public.pg_vector_collection (id BIGINT PRIMARY KEY, embedding vector(4)); -- 查询表的分片分布情况： SELECT * from pg_dist_shard; 2)将本地表转化为分布式表： SELECT create_distributed_table('pg_vector_collection', 'id', shard_count:=4); -- 查询表的分片分布情况： SELECT * from pg_dist_shard; 之后可使用正常表一样使用分布式表。注意：向量数据类型不能作为分布式列 3.2.2 alter_distributed_table 分布式表的元数据主要包括分布式列和分片的数量，可以通过函数alter_distributed_table修改，其函数型如alter_distributed_table(table_name regclass,distribution_column text DEFAULT NULL,shard_count int DEFAULT NULL),其中，table_name是变更分布式表的表名，distribution_column是分布式列，shard_count是分片数量，例如： SELECT * from alter_distributed_table(‘pg_vector_collection’,’id’,6); -- 查询表的分片分布情况： SELECT * from pg_dist_shard; 3.2.3 truncate_local_data_after_distributing_table 如果openGauss表已经存储数据，那么在执行create_distributed_table函数将该表转换为分布式表，本地表的数据并不会清理，使用函数： SELECT * from truncate_local_data_after_distributing_table(‘pg_vector_collection’); 注意，对于分布式表，该表上的所有DDL是作用于分片的，这意味着，直接truncate分布式表，指的是truncate所有的分片，而不会清理本地残留的数据。 3.2.4 undistribute_table 函数undistribute_table(table_name regclass)可以将分布式表转化为本地openGauss普通表，例如，将pg_vector_collection表变回本地表： SELECT * from undistributed_table(‘pg_vector_collection’); -- 查询表的分片分布情况： SELECT * from pg_dist_shard; 4 BM25索引查询相较于单机，分布式场景下，因为BM25索引召回率计算方式问题，得分不准，且各分片打分基准不同，导致召回率下降。若数据存在倾斜情况，则召回率下降严重，需要使用全局的N、df、avgdl，提升召回率，使查询效果接近单机表。开启enable_bm25_global_idf配置，控制分布表执行BM25索引查询时是否自动收集分布式全局统计信息，并使用全局逆文档频率（IDF）和平均文档长度（avgdl）计算文档得分。该参数在CN节点设置，仅对分布表的BM25查询生效。 1) 连接CN，执行： drop table if exists bm25_global_demo cascade; create table bm25_global_demo( id bigint primary key, source text not null, content text not null ); select create_distributed_table( ‘bm25_global_demo’, ‘id’, shard_count:=2 ); create index bm25_global_demo_content_idx on bm25_global_demo using bm25(content); 2) 在CN执行： select s.shardid, p.nodename, p.nodeport, ‘bm25_global_demo_’ || s.shardid as shard_table from pg_dist_shard s join pg_dist_shard_placement p On p.shardid = s.shardid where s.logicalrelid = ‘bm25_global_demo’::regclass order by s.shardid; 本次实际结果： 3)在DN1写入高频shard数据连接DN1： insert into bm25_global_demo_62025(id,source,content) select i, ‘shard_dense’, case when i<=3 then ‘apple apple apple apple apple fruit’ when i<=30 then ‘apple fruit’ else ‘fruit’ end from generate_serise(1,50) as i; analyze bm25_global_demo_62025; 4)在DN2写入高频shard数据连接DN2： insert into bm25_global_demo_62025(id,source,content) select i, ‘shard_dense’, case when i<=3 then ‘apple fruit’ when i<=30 then ‘fruit’ else ‘fruit’ end from generate_serise(1,50) as i: analyze bm25_global_demo_62026; 5)在CN检查数据：关闭global_idf时使用bm25索引查询 Set enable_seqscan = off; Set enable_bm25_global_idf = off; Select Id, Source, Content From bm25_global_demo Order by content <&> ‘apple fruit’ DESC Limit 10; 验证结果： Id | source | content -----+--------------+---------- 1001 | shard_sparse |apple fruit 1002 | shard_sparse |apple fruit 1 | shard_dense |apple apple apple apple apple fruit 2 | shard_dense |apple apple apple apple apple fruit 3 | shard_dense |apple apple apple apple apple fruit 4 | shard_dense |apple fruit 5 | shard_dense |apple fruit 6 | shard_dense |apple fruit 7 | shard_dense |apple fruit 8 | shard_dense |apple fruit 开启global_idf时使用bm25索引查询 Set enable_seqscan = off; Set enable_bm25_global_idf = on; Select Id, Source, Content From bm25_global_demo Order by content <&> ‘apple fruit’ DESC Limit 10; 验证结果： Id | source | content -----+--------------+---------- 1 | shard_dense |apple apple apple apple apple fruit 2 | shard_dense |apple apple apple apple apple fruit 3 | shard_dense |apple apple apple apple apple fruit 4 | shard_dense |apple fruit 5 | shard_dense |apple fruit 6 | shard_dense |apple fruit 7 | shard_dense |apple fruit 8 | shard_dense |apple fruit 关闭global_idf是查询结果前三非5次apple出现的记录，开启后前三都是5次apple的记录