Reduce memory used by partitionwise joins
authorRichard Guo
Mon, 29 Jul 2024 02:35:51 +0000 (11:35 +0900)
committerRichard Guo
Mon, 29 Jul 2024 02:35:51 +0000 (11:35 +0900)
commit513f4472a4a0d294ca64123627ce7b48ce0ee7c1
treec9874b77b9775e02b0ade8ce4e0c109177cc4db6
parentf47b33a19115f432ad80777db0d1350d23bb6cf5
Reduce memory used by partitionwise joins

In try_partitionwise_join, we aim to break down the join between two
partitioned relations into joins between matching partitions.  To
achieve this, we iterate through each pair of partitions from the two
joining relations and create child-join relations for them.  With
potentially thousands of partitions, the local objects allocated in
each iteration can accumulate significant memory usage.  Therefore, we
opt to eagerly free these local objects at the end of each iteration.

In line with this approach, this patch frees the bitmap set that
represents the relids of child-join relations at the end of each
iteration.  Additionally, it modifies build_child_join_rel() to reuse
the AppendRelInfo structures generated within each iteration.

Author: Ashutosh Bapat
Reviewed-by: David Christensen, Richard Guo
Discussion: https://postgr.es/m/CAExHW5s4EqY43oB=ne6B2=-xLgrs9ZGeTr1NXwkGFt2j-OmaQQ@mail.gmail.com
src/backend/optimizer/path/joinrels.c
src/backend/optimizer/util/relnode.c
src/include/optimizer/pathnode.h