Fix permission checks on constraint violation errors on partitions.
authorHeikki Linnakangas
Mon, 8 Feb 2021 09:01:51 +0000 (11:01 +0200)
committerHeikki Linnakangas
Mon, 8 Feb 2021 09:01:55 +0000 (11:01 +0200)
If a cross-partition UPDATE violates a constraint on the target partition,
and the columns in the new partition are in different physical order than
in the parent, the error message can reveal columns that the user does not
have SELECT permission on. A similar bug was fixed earlier in commit
804b6b6db4.

The cause of the bug is that the callers of the
ExecBuildSlotValueDescription() function got confused when constructing
the list of modified columns. If the tuple was routed from a parent, we
converted the tuple to the parent's format, but the list of modified
columns was grabbed directly from the child's RTE entry.

ExecUpdateLockMode() had a similar issue. That lead to confusion on which
columns are key columns, leading to wrong tuple lock being taken on tables
referenced by foreign keys, when a row is updated with INSERT ON CONFLICT
UPDATE. A new isolation test is added for that corner case.

With this patch, the ri_RangeTableIndex field is no longer set for
partitions that don't have an entry in the range table. Previously, it was
set to the RTE entry of the parent relation, but that was confusing.

NOTE: This modifies the ResultRelInfo struct, replacing the
ri_PartitionRoot field with ri_RootResultRelInfo. That's a bit risky to
backpatch, because it breaks any extensions accessing the field. The
change that ri_RangeTableIndex is not set for partitions could potentially
break extensions, too. The ResultRelInfos are visible to FDWs at least,
and this patch required small changes to postgres_fdw. Nevertheless, this
seem like the least bad option. I don't think these fields widely used in
extensions; I don't think there are FDWs out there that uses the FDW
"direct update" API, other than postgres_fdw. If there is, you will get a
compilation error, so hopefully it is caught quickly.

Backpatch to 11, where support for both cross-partition UPDATEs, and unique
indexes on partitioned tables, were added.

Reviewed-by: Amit Langote
Security: CVE-2021-3393

17 files changed:
contrib/postgres_fdw/postgres_fdw.c
src/backend/access/common/tupconvert.c
src/backend/commands/copy.c
src/backend/commands/explain.c
src/backend/commands/trigger.c
src/backend/executor/execMain.c
src/backend/executor/execPartition.c
src/backend/executor/execUtils.c
src/backend/executor/nodeModifyTable.c
src/include/access/tupconvert.h
src/include/executor/executor.h
src/include/nodes/execnodes.h
src/test/isolation/expected/tuplelock-partition.out [new file with mode: 0644]
src/test/isolation/isolation_schedule
src/test/isolation/specs/tuplelock-partition.spec [new file with mode: 0644]
src/test/regress/expected/privileges.out
src/test/regress/sql/privileges.sql

index 105d505409f4d03f4b608ec5e58b67f3cb9851e7..f0e90d0bd3e798d589b6f6427a6b92cdb634065a 100644 (file)
@@ -1934,7 +1934,7 @@ postgresBeginForeignInsert(ModifyTableState *mtstate,
    PgFdwModifyState *fmstate;
    ModifyTable *plan = castNode(ModifyTable, mtstate->ps.plan);
    EState     *estate = mtstate->ps.state;
-   Index       resultRelation = resultRelInfo->ri_RangeTableIndex;
+   Index       resultRelation;
    Relation    rel = resultRelInfo->ri_RelationDesc;
    RangeTblEntry *rte;
    TupleDesc   tupdesc = RelationGetDescr(rel);
@@ -1985,7 +1985,8 @@ postgresBeginForeignInsert(ModifyTableState *mtstate,
    }
 
    /*
-    * If the foreign table is a partition, we need to create a new RTE
+    * If the foreign table is a partition that doesn't have a corresponding
+    * RTE entry, we need to create a new RTE
     * describing the foreign table for use by deparseInsertSql and
     * create_foreign_modify() below, after first copying the parent's RTE and
     * modifying some fields to describe the foreign partition to work on.
@@ -1993,9 +1994,11 @@ postgresBeginForeignInsert(ModifyTableState *mtstate,
     * correspond to this partition if it is one of the UPDATE subplan target
     * rels; in that case, we can just use the existing RTE as-is.
     */
-   rte = exec_rt_fetch(resultRelation, estate);
-   if (rte->relid != RelationGetRelid(rel))
+   if (resultRelInfo->ri_RangeTableIndex == 0)
    {
+       ResultRelInfo *rootResultRelInfo = resultRelInfo->ri_RootResultRelInfo;
+
+       rte = exec_rt_fetch(rootResultRelInfo->ri_RangeTableIndex, estate);
        rte = copyObject(rte);
        rte->relid = RelationGetRelid(rel);
        rte->relkind = RELKIND_FOREIGN_TABLE;
@@ -2007,8 +2010,15 @@ postgresBeginForeignInsert(ModifyTableState *mtstate,
         * Vars contained in those expressions.
         */
        if (plan && plan->operation == CMD_UPDATE &&
-           resultRelation == plan->rootRelation)
+           rootResultRelInfo->ri_RangeTableIndex == plan->rootRelation)
            resultRelation = mtstate->resultRelInfo[0].ri_RangeTableIndex;
+       else
+           resultRelation = rootResultRelInfo->ri_RangeTableIndex;
+   }
+   else
+   {
+       resultRelation = resultRelInfo->ri_RangeTableIndex;
+       rte = exec_rt_fetch(resultRelation, estate);
    }
 
    /* Construct the SQL command string. */
index 5ed136246af81b766f0fb6d00f5849fe19c46b8b..37656cbedb1f9e398bc70021dfc3eeebd1b0eb51 100644 (file)
@@ -493,6 +493,59 @@ execute_attr_map_slot(AttrNumber *attrMap,
    return out_slot;
 }
 
+/*
+ * Perform conversion of bitmap of columns according to the map.
+ *
+ * The input and output bitmaps are offset by
+ * FirstLowInvalidHeapAttributeNumber to accommodate system cols, like the
+ * column-bitmaps in RangeTblEntry.
+ */
+Bitmapset *
+execute_attr_map_cols(Bitmapset *in_cols, TupleConversionMap *map)
+{
+   AttrNumber *attrMap = map->attrMap;
+   int         maplen = map->outdesc->natts;
+   Bitmapset  *out_cols;
+   int         out_attnum;
+
+   /* fast path for the common trivial case */
+   if (in_cols == NULL)
+       return NULL;
+
+   /*
+    * For each output column, check which input column it corresponds to.
+    */
+   out_cols = NULL;
+
+   for (out_attnum = FirstLowInvalidHeapAttributeNumber + 1;
+        out_attnum <= maplen;
+        out_attnum++)
+   {
+       int         in_attnum;
+
+       if (out_attnum < 0)
+       {
+           /* System column. No mapping. */
+           in_attnum = out_attnum;
+       }
+       else if (out_attnum == 0)
+           continue;
+       else
+       {
+           /* normal user column */
+           in_attnum = attrMap[out_attnum - 1];
+
+           if (in_attnum == 0)
+               continue;
+       }
+
+       if (bms_is_member(in_attnum - FirstLowInvalidHeapAttributeNumber, in_cols))
+           out_cols = bms_add_member(out_cols, out_attnum - FirstLowInvalidHeapAttributeNumber);
+   }
+
+   return out_cols;
+}
+
 /*
  * Free a TupleConversionMap structure.
  */
index 34334ff622df9a0158f6ff3d586dfcc3944c4135..bd12d5ca746b9808dbaf27f84bfe0c9f36112623 100644 (file)
@@ -2858,6 +2858,7 @@ CopyFrom(CopyState cstate)
    mtstate->ps.state = estate;
    mtstate->operation = CMD_INSERT;
    mtstate->resultRelInfo = estate->es_result_relations;
+   mtstate->rootResultRelInfo = estate->es_result_relations;
 
    if (resultRelInfo->ri_FdwRoutine != NULL &&
        resultRelInfo->ri_FdwRoutine->BeginForeignInsert != NULL)
index a40bc14ec5827a01773796cf94936ad865746e0d..ab60c73c91ae5d4528b1dddb81c608d3886bc85b 100644 (file)
@@ -3210,7 +3210,7 @@ show_modifytable_info(ModifyTableState *mtstate, List *ancestors,
    /* Should we explicitly label target relations? */
    labeltargets = (mtstate->mt_nplans > 1 ||
                    (mtstate->mt_nplans == 1 &&
-                    mtstate->resultRelInfo->ri_RangeTableIndex != node->nominalRelation));
+                    mtstate->resultRelInfo[0].ri_RangeTableIndex != node->nominalRelation));
 
    if (labeltargets)
        ExplainOpenGroup("Target Tables", "Target Tables", false, es);
index 5d26f998fac42be398f4bea536f6923f96973076..95752fa31d8a5c963bed0c54e9937504520126fa 100644 (file)
@@ -69,16 +69,6 @@ int          SessionReplicationRole = SESSION_REPLICATION_ROLE_ORIGIN;
 /* How many levels deep into trigger execution are we? */
 static int MyTriggerDepth = 0;
 
-/*
- * Note that similar macros also exist in executor/execMain.c.  There does not
- * appear to be any good header to put them into, given the structures that
- * they use, so we let them be duplicated.  Be sure to update all if one needs
- * to be changed, however.
- */
-#define GetAllUpdatedColumns(relinfo, estate) \
-   (bms_union(exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->updatedCols, \
-              exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->extraUpdatedCols))
-
 /* Local function prototypes */
 static void ConvertTriggerToFK(CreateTrigStmt *stmt, Oid funcoid);
 static void SetTriggerFlags(TriggerDesc *trigdesc, Trigger *trigger);
@@ -2928,7 +2918,10 @@ ExecBSUpdateTriggers(EState *estate, ResultRelInfo *relinfo)
                                   CMD_UPDATE))
        return;
 
-   updatedCols = GetAllUpdatedColumns(relinfo, estate);
+   /* statement-level triggers operate on the parent table */
+   Assert(relinfo->ri_RootResultRelInfo == NULL);
+
+   updatedCols = ExecGetAllUpdatedCols(relinfo, estate);
 
    LocTriggerData.type = T_TriggerData;
    LocTriggerData.tg_event = TRIGGER_EVENT_UPDATE |
@@ -2974,10 +2967,13 @@ ExecASUpdateTriggers(EState *estate, ResultRelInfo *relinfo,
 {
    TriggerDesc *trigdesc = relinfo->ri_TrigDesc;
 
+   /* statement-level triggers operate on the parent table */
+   Assert(relinfo->ri_RootResultRelInfo == NULL);
+
    if (trigdesc && trigdesc->trig_update_after_statement)
        AfterTriggerSaveEvent(estate, relinfo, TRIGGER_EVENT_UPDATE,
                              false, NULL, NULL, NIL,
-                             GetAllUpdatedColumns(relinfo, estate),
+                             ExecGetAllUpdatedCols(relinfo, estate),
                              transition_capture);
 }
 
@@ -3049,7 +3045,7 @@ ExecBRUpdateTriggers(EState *estate, EPQState *epqstate,
    LocTriggerData.tg_relation = relinfo->ri_RelationDesc;
    LocTriggerData.tg_oldtable = NULL;
    LocTriggerData.tg_newtable = NULL;
-   updatedCols = GetAllUpdatedColumns(relinfo, estate);
+   updatedCols = ExecGetAllUpdatedCols(relinfo, estate);
    for (i = 0; i < trigdesc->numtriggers; i++)
    {
        Trigger    *trigger = &trigdesc->triggers[i];
@@ -3149,7 +3145,7 @@ ExecARUpdateTriggers(EState *estate, ResultRelInfo *relinfo,
 
        AfterTriggerSaveEvent(estate, relinfo, TRIGGER_EVENT_UPDATE,
                              true, oldslot, newslot, recheckIndexes,
-                             GetAllUpdatedColumns(relinfo, estate),
+                             ExecGetAllUpdatedCols(relinfo, estate),
                              transition_capture);
    }
 }
index 2275a2988f658ab70e902dfec0e28c8bb2416ad9..88df1a124e297454f19a1fff2fa7f7e1f48270dc 100644 (file)
@@ -100,20 +100,6 @@ static char *ExecBuildSlotValueDescription(Oid reloid,
                                           int maxfieldlen);
 static void EvalPlanQualStart(EPQState *epqstate, Plan *planTree);
 
-/*
- * Note that GetAllUpdatedColumns() also exists in commands/trigger.c.  There does
- * not appear to be any good header to put it into, given the structures that
- * it uses, so we let them be duplicated.  Be sure to update both if one needs
- * to be changed, however.
- */
-#define GetInsertedColumns(relinfo, estate) \
-   (exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->insertedCols)
-#define GetUpdatedColumns(relinfo, estate) \
-   (exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->updatedCols)
-#define GetAllUpdatedColumns(relinfo, estate) \
-   (bms_union(exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->updatedCols, \
-              exec_rt_fetch((relinfo)->ri_RangeTableIndex, estate)->extraUpdatedCols))
-
 /* end of local decls */
 
 
@@ -1277,7 +1263,7 @@ void
 InitResultRelInfo(ResultRelInfo *resultRelInfo,
                  Relation resultRelationDesc,
                  Index resultRelationIndex,
-                 Relation partition_root,
+                 ResultRelInfo *partition_root_rri,
                  int instrument_options)
 {
    List       *partition_check = NIL;
@@ -1342,7 +1328,7 @@ InitResultRelInfo(ResultRelInfo *resultRelInfo,
    partition_check = RelationGetPartitionQual(resultRelationDesc);
 
    resultRelInfo->ri_PartitionCheck = partition_check;
-   resultRelInfo->ri_PartitionRoot = partition_root;
+   resultRelInfo->ri_RootResultRelInfo = partition_root_rri;
    resultRelInfo->ri_PartitionInfo = NULL; /* may be set later */
    resultRelInfo->ri_CopyMultiInsertBuffer = NULL;
 }
@@ -1840,13 +1826,14 @@ ExecPartitionCheckEmitError(ResultRelInfo *resultRelInfo,
     * back to the root table's rowtype so that val_desc in the error message
     * matches the input tuple.
     */
-   if (resultRelInfo->ri_PartitionRoot)
+   if (resultRelInfo->ri_RootResultRelInfo)
    {
+       ResultRelInfo *rootrel = resultRelInfo->ri_RootResultRelInfo;
        TupleDesc   old_tupdesc;
        AttrNumber *map;
 
-       root_relid = RelationGetRelid(resultRelInfo->ri_PartitionRoot);
-       tupdesc = RelationGetDescr(resultRelInfo->ri_PartitionRoot);
+       root_relid = RelationGetRelid(rootrel->ri_RelationDesc);
+       tupdesc = RelationGetDescr(rootrel->ri_RelationDesc);
 
        old_tupdesc = RelationGetDescr(resultRelInfo->ri_RelationDesc);
        /* a reverse map */
@@ -1860,16 +1847,17 @@ ExecPartitionCheckEmitError(ResultRelInfo *resultRelInfo,
        if (map != NULL)
            slot = execute_attr_map_slot(map, slot,
                                         MakeTupleTableSlot(tupdesc, &TTSOpsVirtual));
+       modifiedCols = bms_union(ExecGetInsertedCols(rootrel, estate),
+                                ExecGetUpdatedCols(rootrel, estate));
    }
    else
    {
        root_relid = RelationGetRelid(resultRelInfo->ri_RelationDesc);
        tupdesc = RelationGetDescr(resultRelInfo->ri_RelationDesc);
+       modifiedCols = bms_union(ExecGetInsertedCols(resultRelInfo, estate),
+                                ExecGetUpdatedCols(resultRelInfo, estate));
    }
 
-   modifiedCols = bms_union(GetInsertedColumns(resultRelInfo, estate),
-                            GetUpdatedColumns(resultRelInfo, estate));
-
    val_desc = ExecBuildSlotValueDescription(root_relid,
                                             slot,
                                             tupdesc,
@@ -1901,8 +1889,6 @@ ExecConstraints(ResultRelInfo *resultRelInfo,
    TupleDesc   tupdesc = RelationGetDescr(rel);
    TupleConstr *constr = tupdesc->constr;
    Bitmapset  *modifiedCols;
-   Bitmapset  *insertedCols;
-   Bitmapset  *updatedCols;
 
    Assert(constr || resultRelInfo->ri_PartitionCheck);
 
@@ -1928,12 +1914,12 @@ ExecConstraints(ResultRelInfo *resultRelInfo,
                 * rowtype so that val_desc shown error message matches the
                 * input tuple.
                 */
-               if (resultRelInfo->ri_PartitionRoot)
+               if (resultRelInfo->ri_RootResultRelInfo)
                {
+                   ResultRelInfo *rootrel = resultRelInfo->ri_RootResultRelInfo;
                    AttrNumber *map;
 
-                   rel = resultRelInfo->ri_PartitionRoot;
-                   tupdesc = RelationGetDescr(rel);
+                   tupdesc = RelationGetDescr(rootrel->ri_RelationDesc);
                    /* a reverse map */
                    map = convert_tuples_by_name_map_if_req(orig_tupdesc,
                                                            tupdesc,
@@ -1946,11 +1932,13 @@ ExecConstraints(ResultRelInfo *resultRelInfo,
                    if (map != NULL)
                        slot = execute_attr_map_slot(map, slot,
                                                     MakeTupleTableSlot(tupdesc, &TTSOpsVirtual));
+                   modifiedCols = bms_union(ExecGetInsertedCols(rootrel, estate),
+                                            ExecGetUpdatedCols(rootrel, estate));
+                   rel = rootrel->ri_RelationDesc;
                }
-
-               insertedCols = GetInsertedColumns(resultRelInfo, estate);
-               updatedCols = GetUpdatedColumns(resultRelInfo, estate);
-               modifiedCols = bms_union(insertedCols, updatedCols);
+               else
+                   modifiedCols = bms_union(ExecGetInsertedCols(resultRelInfo, estate),
+                                            ExecGetUpdatedCols(resultRelInfo, estate));
                val_desc = ExecBuildSlotValueDescription(RelationGetRelid(rel),
                                                         slot,
                                                         tupdesc,
@@ -1977,13 +1965,13 @@ ExecConstraints(ResultRelInfo *resultRelInfo,
            Relation    orig_rel = rel;
 
            /* See the comment above. */
-           if (resultRelInfo->ri_PartitionRoot)
+           if (resultRelInfo->ri_RootResultRelInfo)
            {
+               ResultRelInfo *rootrel = resultRelInfo->ri_RootResultRelInfo;
                TupleDesc   old_tupdesc = RelationGetDescr(rel);
                AttrNumber *map;
 
-               rel = resultRelInfo->ri_PartitionRoot;
-               tupdesc = RelationGetDescr(rel);
+               tupdesc = RelationGetDescr(rootrel->ri_RelationDesc);
                /* a reverse map */
                map = convert_tuples_by_name_map_if_req(old_tupdesc,
                                                        tupdesc,
@@ -1996,11 +1984,13 @@ ExecConstraints(ResultRelInfo *resultRelInfo,
                if (map != NULL)
                    slot = execute_attr_map_slot(map, slot,
                                                 MakeTupleTableSlot(tupdesc, &TTSOpsVirtual));
+               modifiedCols = bms_union(ExecGetInsertedCols(rootrel, estate),
+                                        ExecGetUpdatedCols(rootrel, estate));
+               rel = rootrel->ri_RelationDesc;
            }
-
-           insertedCols = GetInsertedColumns(resultRelInfo, estate);
-           updatedCols = GetUpdatedColumns(resultRelInfo, estate);
-           modifiedCols = bms_union(insertedCols, updatedCols);
+           else
+               modifiedCols = bms_union(ExecGetInsertedCols(resultRelInfo, estate),
+                                        ExecGetUpdatedCols(resultRelInfo, estate));
            val_desc = ExecBuildSlotValueDescription(RelationGetRelid(rel),
                                                     slot,
                                                     tupdesc,
@@ -2069,8 +2059,6 @@ ExecWithCheckOptions(WCOKind kind, ResultRelInfo *resultRelInfo,
        {
            char       *val_desc;
            Bitmapset  *modifiedCols;
-           Bitmapset  *insertedCols;
-           Bitmapset  *updatedCols;
 
            switch (wco->kind)
            {
@@ -2085,13 +2073,13 @@ ExecWithCheckOptions(WCOKind kind, ResultRelInfo *resultRelInfo,
                     */
                case WCO_VIEW_CHECK:
                    /* See the comment in ExecConstraints(). */
-                   if (resultRelInfo->ri_PartitionRoot)
+                   if (resultRelInfo->ri_RootResultRelInfo)
                    {
+                       ResultRelInfo *rootrel = resultRelInfo->ri_RootResultRelInfo;
                        TupleDesc   old_tupdesc = RelationGetDescr(rel);
                        AttrNumber *map;
 
-                       rel = resultRelInfo->ri_PartitionRoot;
-                       tupdesc = RelationGetDescr(rel);
+                       tupdesc = RelationGetDescr(rootrel->ri_RelationDesc);
                        /* a reverse map */
                        map = convert_tuples_by_name_map_if_req(old_tupdesc,
                                                                tupdesc,
@@ -2104,11 +2092,14 @@ ExecWithCheckOptions(WCOKind kind, ResultRelInfo *resultRelInfo,
                        if (map != NULL)
                            slot = execute_attr_map_slot(map, slot,
                                                         MakeTupleTableSlot(tupdesc, &TTSOpsVirtual));
-                   }
 
-                   insertedCols = GetInsertedColumns(resultRelInfo, estate);
-                   updatedCols = GetUpdatedColumns(resultRelInfo, estate);
-                   modifiedCols = bms_union(insertedCols, updatedCols);
+                       modifiedCols = bms_union(ExecGetInsertedCols(rootrel, estate),
+                                                ExecGetUpdatedCols(rootrel, estate));
+                       rel = rootrel->ri_RelationDesc;
+                   }
+                   else
+                       modifiedCols = bms_union(ExecGetInsertedCols(resultRelInfo, estate),
+                                                ExecGetUpdatedCols(resultRelInfo, estate));
                    val_desc = ExecBuildSlotValueDescription(RelationGetRelid(rel),
                                                             slot,
                                                             tupdesc,
@@ -2322,7 +2313,7 @@ ExecUpdateLockMode(EState *estate, ResultRelInfo *relinfo)
     * been modified, then we can use a weaker lock, allowing for better
     * concurrency.
     */
-   updatedCols = GetAllUpdatedColumns(relinfo, estate);
+   updatedCols = ExecGetAllUpdatedCols(relinfo, estate);
    keyCols = RelationGetIndexAttrBitmap(relinfo->ri_RelationDesc,
                                         INDEX_ATTR_BITMAP_KEY);
 
index 93e2cdd0207c1ed10c1898d73029d7cf167d0af8..8fe4fc57bf614ba0042717a59abba19e987e4014 100644 (file)
@@ -176,7 +176,8 @@ static void ExecInitRoutingInfo(ModifyTableState *mtstate,
                                int partidx);
 static PartitionDispatch ExecInitPartitionDispatchInfo(EState *estate,
                                                       PartitionTupleRouting *proute,
-                                                      Oid partoid, PartitionDispatch parent_pd, int partidx);
+                                                      Oid partoid, PartitionDispatch parent_pd,
+                                                      int partidx, ResultRelInfo *rootResultRelInfo);
 static void FormPartitionKeyDatum(PartitionDispatch pd,
                                  TupleTableSlot *slot,
                                  EState *estate,
@@ -238,7 +239,7 @@ ExecSetupPartitionTupleRouting(EState *estate, ModifyTableState *mtstate,
     * partitioned table.
     */
    ExecInitPartitionDispatchInfo(estate, proute, RelationGetRelid(rel),
-                                 NULL, 0);
+                                 NULL, 0, NULL);
 
    /*
     * If performing an UPDATE with tuple routing, we can reuse partition
@@ -425,10 +426,11 @@ ExecFindPartition(ModifyTableState *mtstate,
                 * Create the new PartitionDispatch.  We pass the current one
                 * in as the parent PartitionDispatch
                 */
-               subdispatch = ExecInitPartitionDispatchInfo(mtstate->ps.state,
+               subdispatch = ExecInitPartitionDispatchInfo(estate,
                                                            proute,
                                                            partdesc->oids[partidx],
-                                                           dispatch, partidx);
+                                                           dispatch, partidx,
+                                                           mtstate->rootResultRelInfo);
                Assert(dispatch->indexes[partidx] >= 0 &&
                       dispatch->indexes[partidx] < proute->num_dispatch);
 
@@ -543,7 +545,7 @@ ExecHashSubPlanResultRelsByOid(ModifyTableState *mtstate,
         * compatible with the root partitioned table's tuple descriptor. When
         * generating the per-subplan result rels, this was not set.
         */
-       rri->ri_PartitionRoot = proute->partition_root;
+       rri->ri_RootResultRelInfo = mtstate->rootResultRelInfo;
    }
 }
 
@@ -563,8 +565,8 @@ ExecInitPartitionInfo(ModifyTableState *mtstate, EState *estate,
                      int partidx)
 {
    ModifyTable *node = (ModifyTable *) mtstate->ps.plan;
-   Relation    rootrel = rootResultRelInfo->ri_RelationDesc,
-               partrel;
+   Relation    partrel;
+   int         firstVarno = mtstate->resultRelInfo[0].ri_RangeTableIndex;
    Relation    firstResultRel = mtstate->resultRelInfo[0].ri_RelationDesc;
    ResultRelInfo *leaf_part_rri;
    MemoryContext oldcxt;
@@ -578,8 +580,8 @@ ExecInitPartitionInfo(ModifyTableState *mtstate, EState *estate,
    leaf_part_rri = makeNode(ResultRelInfo);
    InitResultRelInfo(leaf_part_rri,
                      partrel,
-                     node ? node->rootRelation : 1,
-                     rootrel,
+                     0,
+                     rootResultRelInfo,
                      estate->es_instrument);
 
    /*
@@ -613,7 +615,6 @@ ExecInitPartitionInfo(ModifyTableState *mtstate, EState *estate,
        List       *wcoList;
        List       *wcoExprs = NIL;
        ListCell   *ll;
-       int         firstVarno = mtstate->resultRelInfo[0].ri_RangeTableIndex;
 
        /*
         * In the case of INSERT on a partitioned table, there is only one
@@ -679,7 +680,6 @@ ExecInitPartitionInfo(ModifyTableState *mtstate, EState *estate,
        TupleTableSlot *slot;
        ExprContext *econtext;
        List       *returningList;
-       int         firstVarno = mtstate->resultRelInfo[0].ri_RangeTableIndex;
 
        /* See the comment above for WCO lists. */
        Assert((node->operation == CMD_INSERT &&
@@ -740,7 +740,6 @@ ExecInitPartitionInfo(ModifyTableState *mtstate, EState *estate,
     */
    if (node && node->onConflictAction != ONCONFLICT_NONE)
    {
-       int         firstVarno = mtstate->resultRelInfo[0].ri_RangeTableIndex;
        TupleDesc   partrelDesc = RelationGetDescr(partrel);
        ExprContext *econtext = mtstate->ps.ps_ExprContext;
        ListCell   *lc;
@@ -947,6 +946,7 @@ ExecInitRoutingInfo(ModifyTableState *mtstate,
                    ResultRelInfo *partRelInfo,
                    int partidx)
 {
+   ResultRelInfo *rootRelInfo = partRelInfo->ri_RootResultRelInfo;
    MemoryContext oldcxt;
    PartitionRoutingInfo *partrouteinfo;
    int         rri_index;
@@ -960,7 +960,7 @@ ExecInitRoutingInfo(ModifyTableState *mtstate,
     * partition from the parent's type to the partition's.
     */
    partrouteinfo->pi_RootToPartitionMap =
-       convert_tuples_by_name(RelationGetDescr(partRelInfo->ri_PartitionRoot),
+       convert_tuples_by_name(RelationGetDescr(rootRelInfo->ri_RelationDesc),
                               RelationGetDescr(partRelInfo->ri_RelationDesc),
                               gettext_noop("could not convert row type"));
 
@@ -994,7 +994,7 @@ ExecInitRoutingInfo(ModifyTableState *mtstate,
    {
        partrouteinfo->pi_PartitionToRootMap =
            convert_tuples_by_name(RelationGetDescr(partRelInfo->ri_RelationDesc),
-                                  RelationGetDescr(partRelInfo->ri_PartitionRoot),
+                                  RelationGetDescr(rootRelInfo->ri_RelationDesc),
                                   gettext_noop("could not convert row type"));
    }
    else
@@ -1054,7 +1054,8 @@ ExecInitRoutingInfo(ModifyTableState *mtstate,
 static PartitionDispatch
 ExecInitPartitionDispatchInfo(EState *estate,
                              PartitionTupleRouting *proute, Oid partoid,
-                             PartitionDispatch parent_pd, int partidx)
+                             PartitionDispatch parent_pd, int partidx,
+                             ResultRelInfo *rootResultRelInfo)
 {
    Relation    rel;
    PartitionDesc partdesc;
@@ -1153,7 +1154,7 @@ ExecInitPartitionDispatchInfo(EState *estate,
    {
        ResultRelInfo *rri = makeNode(ResultRelInfo);
 
-       InitResultRelInfo(rri, rel, 1, proute->partition_root, 0);
+       InitResultRelInfo(rri, rel, 0, rootResultRelInfo, 0);
        proute->nonleaf_partitions[dispatchidx] = rri;
    }
    else
index f0a71e5610659105489df3385d6eac62eb21628b..efdec947057a84a179e749b900b3dc940c8ba38a 100644 (file)
@@ -51,6 +51,7 @@
 #include "access/tableam.h"
 #include "access/transam.h"
 #include "executor/executor.h"
+#include "executor/execPartition.h"
 #include "jit/jit.h"
 #include "mb/pg_wchar.h"
 #include "nodes/nodeFuncs.h"
@@ -1175,3 +1176,91 @@ ExecGetReturningSlot(EState *estate, ResultRelInfo *relInfo)
 
    return relInfo->ri_ReturningSlot;
 }
+
+/* Return a bitmap representing columns being inserted */
+Bitmapset *
+ExecGetInsertedCols(ResultRelInfo *relinfo, EState *estate)
+{
+   /*
+    * The columns are stored in the range table entry. If this ResultRelInfo
+    * doesn't have an entry in the range table (i.e. if it represents a
+    * partition routing target), fetch the parent's RTE and map the columns
+    * to the order they are in the partition.
+    */
+   if (relinfo->ri_RangeTableIndex != 0)
+   {
+       RangeTblEntry *rte = exec_rt_fetch(relinfo->ri_RangeTableIndex, estate);
+
+       return rte->insertedCols;
+   }
+   else
+   {
+       ResultRelInfo *rootRelInfo = relinfo->ri_RootResultRelInfo;
+       RangeTblEntry *rte = exec_rt_fetch(rootRelInfo->ri_RangeTableIndex, estate);
+       PartitionRoutingInfo *partrouteinfo = relinfo->ri_PartitionInfo;
+
+       if (partrouteinfo->pi_RootToPartitionMap != NULL)
+           return execute_attr_map_cols(rte->insertedCols,
+                                        partrouteinfo->pi_RootToPartitionMap);
+       else
+           return rte->insertedCols;
+   }
+}
+
+/* Return a bitmap representing columns being updated */
+Bitmapset *
+ExecGetUpdatedCols(ResultRelInfo *relinfo, EState *estate)
+{
+   /* see ExecGetInsertedCols() */
+   if (relinfo->ri_RangeTableIndex != 0)
+   {
+       RangeTblEntry *rte = exec_rt_fetch(relinfo->ri_RangeTableIndex, estate);
+
+       return rte->updatedCols;
+   }
+   else
+   {
+       ResultRelInfo *rootRelInfo = relinfo->ri_RootResultRelInfo;
+       RangeTblEntry *rte = exec_rt_fetch(rootRelInfo->ri_RangeTableIndex, estate);
+       PartitionRoutingInfo *partrouteinfo = relinfo->ri_PartitionInfo;
+
+       if (partrouteinfo->pi_RootToPartitionMap != NULL)
+           return execute_attr_map_cols(rte->updatedCols,
+                                        partrouteinfo->pi_RootToPartitionMap);
+       else
+           return rte->updatedCols;
+   }
+}
+
+/* Return a bitmap representing generated columns being updated */
+Bitmapset *
+ExecGetExtraUpdatedCols(ResultRelInfo *relinfo, EState *estate)
+{
+   /* see ExecGetInsertedCols() */
+   if (relinfo->ri_RangeTableIndex != 0)
+   {
+       RangeTblEntry *rte = exec_rt_fetch(relinfo->ri_RangeTableIndex, estate);
+
+       return rte->extraUpdatedCols;
+   }
+   else
+   {
+       ResultRelInfo *rootRelInfo = relinfo->ri_RootResultRelInfo;
+       RangeTblEntry *rte = exec_rt_fetch(rootRelInfo->ri_RangeTableIndex, estate);
+       PartitionRoutingInfo *partrouteinfo = relinfo->ri_PartitionInfo;
+
+       if (partrouteinfo->pi_RootToPartitionMap != NULL)
+           return execute_attr_map_cols(rte->extraUpdatedCols,
+                                        partrouteinfo->pi_RootToPartitionMap);
+       else
+           return rte->extraUpdatedCols;
+   }
+}
+
+/* Return columns being updated, including generated columns */
+Bitmapset *
+ExecGetAllUpdatedCols(ResultRelInfo *relinfo, EState *estate)
+{
+   return bms_union(ExecGetUpdatedCols(relinfo, estate),
+                    ExecGetExtraUpdatedCols(relinfo, estate));
+}
index cbf7abafc515a4fdf80a0d927715e9d2c864efe0..b65fc85a253f3e744c54e843233c8d63c074f488 100644 (file)
@@ -467,7 +467,7 @@ ExecInsert(ModifyTableState *mtstate,
         * if there's no BR trigger defined on the partition.
         */
        if (resultRelInfo->ri_PartitionCheck &&
-           (resultRelInfo->ri_PartitionRoot == NULL ||
+           (resultRelInfo->ri_RootResultRelInfo == NULL ||
             (resultRelInfo->ri_TrigDesc &&
              resultRelInfo->ri_TrigDesc->trig_insert_before_row)))
            ExecPartitionCheck(resultRelInfo, slot, estate, true);
index 509e5c44efce2464e0c78430f362d72fb084f76b..16f93af79ccd8cd92c0f5a3aaf2045ea35594d29 100644 (file)
@@ -17,6 +17,7 @@
 #include "access/htup.h"
 #include "access/tupdesc.h"
 #include "executor/tuptable.h"
+#include "nodes/bitmapset.h"
 
 
 typedef struct TupleConversionMap
@@ -49,6 +50,7 @@ extern AttrNumber *convert_tuples_by_name_map_if_req(TupleDesc indesc,
 extern HeapTuple execute_attr_map_tuple(HeapTuple tuple, TupleConversionMap *map);
 extern TupleTableSlot *execute_attr_map_slot(AttrNumber *attrMap,
                                             TupleTableSlot *in_slot, TupleTableSlot *out_slot);
+extern Bitmapset *execute_attr_map_cols(Bitmapset *inbitmap, TupleConversionMap *map);
 
 extern void free_conversion_map(TupleConversionMap *map);
 
index bb9d9b2ca1360b86532e3d9a909e9d387363c00f..cb7b23d98d846973473bc5899beecc3a13351a61 100644 (file)
@@ -185,7 +185,7 @@ extern void CheckValidResultRel(ResultRelInfo *resultRelInfo, CmdType operation)
 extern void InitResultRelInfo(ResultRelInfo *resultRelInfo,
                              Relation resultRelationDesc,
                              Index resultRelationIndex,
-                             Relation partition_root,
+                             ResultRelInfo *partition_root_rri,
                              int instrument_options);
 extern ResultRelInfo *ExecGetTriggerResultRel(EState *estate, Oid relid);
 extern void ExecCleanUpTriggerState(EState *estate);
@@ -565,6 +565,11 @@ extern TupleTableSlot *ExecGetTriggerOldSlot(EState *estate, ResultRelInfo *relI
 extern TupleTableSlot *ExecGetTriggerNewSlot(EState *estate, ResultRelInfo *relInfo);
 extern TupleTableSlot *ExecGetReturningSlot(EState *estate, ResultRelInfo *relInfo);
 
+extern Bitmapset *ExecGetInsertedCols(ResultRelInfo *relinfo, EState *estate);
+extern Bitmapset *ExecGetUpdatedCols(ResultRelInfo *relinfo, EState *estate);
+extern Bitmapset *ExecGetExtraUpdatedCols(ResultRelInfo *relinfo, EState *estate);
+extern Bitmapset *ExecGetAllUpdatedCols(ResultRelInfo *relinfo, EState *estate);
+
 /*
  * prototypes from functions in execIndexing.c
  */
index a214a7bf343696ae8db095ac22e99b6e43321ef2..56b37749112e928e2f0f550f140f309d99c2fe1e 100644 (file)
@@ -477,8 +477,13 @@ typedef struct ResultRelInfo
    /* partition check expression state */
    ExprState  *ri_PartitionCheckExpr;
 
-   /* relation descriptor for root partitioned table */
-   Relation    ri_PartitionRoot;
+   /*
+    * RootResultRelInfo gives the target relation mentioned in the query, if
+    * it's a partitioned table. It is not set if the target relation
+    * mentioned in the query is an inherited table, nor when tuple routing is
+    * not needed.
+    */
+   struct ResultRelInfo *ri_RootResultRelInfo;
 
    /* Additional information specific to partition tuple routing */
    struct PartitionRoutingInfo *ri_PartitionInfo;
diff --git a/src/test/isolation/expected/tuplelock-partition.out b/src/test/isolation/expected/tuplelock-partition.out
new file mode 100644 (file)
index 0000000..dd6d37c
--- /dev/null
@@ -0,0 +1,20 @@
+Parsed test spec with 2 sessions
+
+starting permutation: s1b s1update_nokey s2locktuple s1c
+step s1b: BEGIN;
+step s1update_nokey: INSERT INTO parttab (key, col1, col2) VALUES (1, 'a', 'b') ON CONFLICT (key) DO UPDATE SET col1 = 'x', col2 = 'y';
+step s2locktuple: SELECT * FROM parttab FOR KEY SHARE;
+col1           key            col2           
+
+a              1              b              
+step s1c: COMMIT;
+
+starting permutation: s1b s1update_key s2locktuple s1c
+step s1b: BEGIN;
+step s1update_key: INSERT INTO parttab (key, col1, col2) VALUES (1, 'a', 'b') ON CONFLICT (key) DO UPDATE SET key=1;
+step s2locktuple: SELECT * FROM parttab FOR KEY SHARE; 
+step s1c: COMMIT;
+step s2locktuple: <... completed>
+col1           key            col2           
+
+a              1              b              
index 2b3afc36532e3cf20bb5d9823247ceffd6d215ee..2e5cbaa7d7b135e06f83ccff1f965e4f4a9355d9 100644 (file)
@@ -53,6 +53,7 @@ test: propagate-lock-delete
 test: tuplelock-conflict
 test: tuplelock-update
 test: tuplelock-upgrade-no-deadlock
+test: tuplelock-partition
 test: freeze-the-dead
 test: nowait
 test: nowait-2
diff --git a/src/test/isolation/specs/tuplelock-partition.spec b/src/test/isolation/specs/tuplelock-partition.spec
new file mode 100644 (file)
index 0000000..9a585cb
--- /dev/null
@@ -0,0 +1,32 @@
+# Test tuple locking on INSERT ON CONFLICT UPDATE on a partitioned table.
+
+setup
+{
+   DROP TABLE IF EXISTS parttab;
+   CREATE TABLE parttab (col1 text, key INTEGER PRIMARY KEY, col2 text) PARTITION BY LIST (key);
+   CREATE TABLE parttab1 (key INTEGER PRIMARY KEY, col1 text, col2 text);
+   CREATE TABLE parttab2 (key INTEGER PRIMARY KEY, col1 text, col2 text);
+   ALTER TABLE parttab ATTACH PARTITION parttab1 FOR VALUES IN (1);
+   ALTER TABLE parttab ATTACH PARTITION parttab2 FOR VALUES IN (2);
+   INSERT INTO parttab (key, col1, col2) VALUES (1, 'a', 'b');
+}
+
+teardown
+{
+   DROP TABLE parttab;
+}
+
+session "s1"
+step "s1b"               { BEGIN; }
+step "s1update_nokey"  { INSERT INTO parttab (key, col1, col2) VALUES (1, 'a', 'b') ON CONFLICT (key) DO UPDATE SET col1 = 'x', col2 = 'y'; }
+step "s1update_key"  { INSERT INTO parttab (key, col1, col2) VALUES (1, 'a', 'b') ON CONFLICT (key) DO UPDATE SET key=1; }
+step "s1c"               { COMMIT; }
+
+session "s2"
+step "s2locktuple"  { SELECT * FROM parttab FOR KEY SHARE; }
+
+# INSERT ON CONFLICT UPDATE, performs an UPDATE on non-key columns
+permutation "s1b" "s1update_nokey" "s2locktuple" "s1c"
+
+# INSERT ON CONFLICT UPDATE, performs an UPDATE on key column
+permutation "s1b" "s1update_key" "s2locktuple" "s1c"
index 1dcc2031ed82daa66e5312022c05a9e94635a5b4..186d2fbf4a3255f6b02026987d7842b073fb9713 100644 (file)
@@ -612,6 +612,45 @@ ERROR:  new row for relation "t1" violates check constraint "t1_c3_check"
 DETAIL:  Failing row contains (c1, c3) = (1, 10).
 SET SESSION AUTHORIZATION regress_priv_user1;
 DROP TABLE t1;
+-- check error reporting with column privs on a partitioned table
+CREATE TABLE errtst(a text, b text NOT NULL, c text, secret1 text, secret2 text) PARTITION BY LIST (a);
+CREATE TABLE errtst_part_1(secret2 text, c text, a text, b text NOT NULL, secret1 text);
+CREATE TABLE errtst_part_2(secret1 text, secret2 text, a text, c text, b text NOT NULL);
+ALTER TABLE errtst ATTACH PARTITION errtst_part_1 FOR VALUES IN ('aaa');
+ALTER TABLE errtst ATTACH PARTITION errtst_part_2 FOR VALUES IN ('aaaa');
+GRANT SELECT (a, b, c) ON TABLE errtst TO regress_priv_user2;
+GRANT UPDATE (a, b, c) ON TABLE errtst TO regress_priv_user2;
+GRANT INSERT (a, b, c) ON TABLE errtst TO regress_priv_user2;
+INSERT INTO errtst_part_1 (a, b, c, secret1, secret2)
+VALUES ('aaa', 'bbb', 'ccc', 'the body', 'is in the attic');
+SET SESSION AUTHORIZATION regress_priv_user2;
+-- Perform a few updates that violate the NOT NULL constraint. Make sure
+-- the error messages don't leak the secret fields.
+-- simple insert.
+INSERT INTO errtst (a, b) VALUES ('aaa', NULL);
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (a, b, c) = (aaa, null, null).
+-- simple update.
+UPDATE errtst SET b = NULL;
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (b) = (null).
+-- partitioning key is updated, doesn't move the row.
+UPDATE errtst SET a = 'aaa', b = NULL;
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (a, b, c) = (aaa, null, ccc).
+-- row is moved to another partition.
+UPDATE errtst SET a = 'aaaa', b = NULL;
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (a, b, c) = (aaaa, null, ccc).
+-- row is moved to another partition. This differs from the previous case in
+-- that the new partition is excluded by constraint exclusion, so its
+-- ResultRelInfo is not created at ExecInitModifyTable, but needs to be
+-- constructed on the fly when the updated tuple is routed to it.
+UPDATE errtst SET a = 'aaaa', b = NULL WHERE a = 'aaa';
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (a, b, c) = (aaaa, null, ccc).
+SET SESSION AUTHORIZATION regress_priv_user1;
+DROP TABLE errtst;
 -- test column-level privileges when involved with DELETE
 SET SESSION AUTHORIZATION regress_priv_user1;
 ALTER TABLE atest6 ADD COLUMN three integer;
index 3e94477cd5038d063a612bfcf5738a867cd80b05..34fbf0e5cbba0f7f1143343d1dbed6759ef2883b 100644 (file)
@@ -397,6 +397,44 @@ UPDATE t1 SET c3 = 10; -- fail, but see columns with SELECT rights, or being mod
 SET SESSION AUTHORIZATION regress_priv_user1;
 DROP TABLE t1;
 
+-- check error reporting with column privs on a partitioned table
+CREATE TABLE errtst(a text, b text NOT NULL, c text, secret1 text, secret2 text) PARTITION BY LIST (a);
+CREATE TABLE errtst_part_1(secret2 text, c text, a text, b text NOT NULL, secret1 text);
+CREATE TABLE errtst_part_2(secret1 text, secret2 text, a text, c text, b text NOT NULL);
+
+ALTER TABLE errtst ATTACH PARTITION errtst_part_1 FOR VALUES IN ('aaa');
+ALTER TABLE errtst ATTACH PARTITION errtst_part_2 FOR VALUES IN ('aaaa');
+
+GRANT SELECT (a, b, c) ON TABLE errtst TO regress_priv_user2;
+GRANT UPDATE (a, b, c) ON TABLE errtst TO regress_priv_user2;
+GRANT INSERT (a, b, c) ON TABLE errtst TO regress_priv_user2;
+
+INSERT INTO errtst_part_1 (a, b, c, secret1, secret2)
+VALUES ('aaa', 'bbb', 'ccc', 'the body', 'is in the attic');
+
+SET SESSION AUTHORIZATION regress_priv_user2;
+
+-- Perform a few updates that violate the NOT NULL constraint. Make sure
+-- the error messages don't leak the secret fields.
+
+-- simple insert.
+INSERT INTO errtst (a, b) VALUES ('aaa', NULL);
+-- simple update.
+UPDATE errtst SET b = NULL;
+-- partitioning key is updated, doesn't move the row.
+UPDATE errtst SET a = 'aaa', b = NULL;
+-- row is moved to another partition.
+UPDATE errtst SET a = 'aaaa', b = NULL;
+
+-- row is moved to another partition. This differs from the previous case in
+-- that the new partition is excluded by constraint exclusion, so its
+-- ResultRelInfo is not created at ExecInitModifyTable, but needs to be
+-- constructed on the fly when the updated tuple is routed to it.
+UPDATE errtst SET a = 'aaaa', b = NULL WHERE a = 'aaa';
+
+SET SESSION AUTHORIZATION regress_priv_user1;
+DROP TABLE errtst;
+
 -- test column-level privileges when involved with DELETE
 SET SESSION AUTHORIZATION regress_priv_user1;
 ALTER TABLE atest6 ADD COLUMN three integer;