doc: add transaction processing chapter with internals info
authorBruce Momjian
Wed, 30 Nov 2022 01:49:52 +0000 (20:49 -0500)
committerBruce Momjian
Wed, 30 Nov 2022 01:49:52 +0000 (20:49 -0500)
This also adds references to this new chapter at relevant sections of
our documentation.  Previously much of these internal details were
exposed to users, but not explained.  This also updates RELEASE
SAVEPOINT.

Discussion: https://postgr.es/m/CANbhV-E_iy9fmrErxrCh8TZTyenpfo72Hf_XD2HLDppva4dUNA@mail.gmail.com

Author: Simon Riggs, Laurenz Albe

Reviewed-by: Bruce Momjian
Backpatch-through: 11

14 files changed:
doc/src/sgml/catalogs.sgml
doc/src/sgml/config.sgml
doc/src/sgml/datatype.sgml
doc/src/sgml/filelist.sgml
doc/src/sgml/func.sgml
doc/src/sgml/glossary.sgml
doc/src/sgml/monitoring.sgml
doc/src/sgml/pgrowlocks.sgml
doc/src/sgml/postgres.sgml
doc/src/sgml/ref/release_savepoint.sgml
doc/src/sgml/ref/rollback.sgml
doc/src/sgml/ref/rollback_to.sgml
doc/src/sgml/wal.sgml
doc/src/sgml/xact.sgml [new file with mode: 0644]

index 8af125276a5127d2be985ff246cabea5563ee872..c0318e2cbcb4d5ec0bac384059dd7eaeb51111d1 100644 (file)
@@ -10594,7 +10594,8 @@ SCRAM-SHA-256$<iteration count>:&l
       
       
        Virtual ID of the transaction targeted by the lock,
-       or null if the target is not a virtual transaction ID
+       or null if the target is not a virtual transaction ID;  see
+       
       
      
 
@@ -10603,8 +10604,8 @@ SCRAM-SHA-256$<iteration count>:&l
        transactionid xid
       
       
-       ID of the transaction targeted by the lock,
-       or null if the target is not a transaction ID
+       ID of the transaction targeted by the lock, or null if the target
+       is not a transaction ID;  
       
      
 
index e069ccdec477d6dcd99394a67b664cec0d50d558..99de38538ec83c2b0418366aeabf60106a8b7e21 100644 (file)
@@ -7017,12 +7017,14 @@ local0.*    /var/log/postgresql
             
             
              %v
-             Virtual transaction ID (backendID/localXID)
+             Virtual transaction ID (backendID/localXID);  see
+             
              no
             
             
              %x
-             Transaction ID (0 if none is assigned)
+             Transaction ID (0 if none is assigned);  see
+             
              no
             
             
index 0e89b768c5dbb836c0428a57658d521239767315..ad35ac7ec984abab1420451c2bcb5622516cd599 100644 (file)
@@ -4936,7 +4936,8 @@ WHERE ...
     xmin and xmax.  Transaction identifiers are 32-bit quantities.
     In some contexts, a 64-bit variant xid8 is used.  Unlike
     xid values, xid8 values increase strictly
-    monotonically and cannot be reused in the lifetime of a database cluster.
+    monotonically and cannot be reused in the lifetime of a database
+    cluster.  See  for more details.
    
 
    
index 459add557bc6f463f715c186e0d067feb222dc8d..18bfb18434aac51343ff24d9e86dc031567bc2dc 100644 (file)
 
 
 
+
 
 
 
index acd824071f76fb231710d9f24c6e6f012c7a8944..3ff23cad0f2b0505032de49162459028a367188e 100644 (file)
@@ -24100,7 +24100,10 @@ SELECT collation for ('foo' COLLATE "de_DE");
        
         Returns the current transaction's ID.  It will assign a new one if the
         current transaction does not have one already (because it has not
-        performed any database updates).
+        performed any database updates);  see 
+        linkend="transaction-id"/> for details.  If executed in a
+        subtransaction, this will return the top-level transaction ID;
+        see  for details.
        
       
 
@@ -24117,6 +24120,8 @@ SELECT collation for ('foo' COLLATE "de_DE");
         ID is assigned yet.  (It's best to use this variant if the transaction
         might otherwise be read-only, to avoid unnecessary consumption of an
         XID.)
+        If executed in a subtransaction, this will return the top-level
+        transaction ID.
        
       
 
@@ -24160,6 +24165,9 @@ SELECT collation for ('foo' COLLATE "de_DE");
        
         Returns a current snapshot, a data structure
         showing which transaction IDs are now in-progress.
+        Only top-level transaction IDs are included in the snapshot;
+        subtransaction IDs are not shown;  see 
+        for details.
        
       
 
@@ -24214,7 +24222,8 @@ SELECT collation for ('foo' COLLATE "de_DE");
         Is the given transaction ID visible according
         to this snapshot (that is, was it completed before the snapshot was
         taken)?  Note that this function will not give the correct answer for
-        a subtransaction ID.
+        a subtransaction ID (subxid);  see  for
+        details.
        
       
      
@@ -24226,8 +24235,9 @@ SELECT collation for ('foo' COLLATE "de_DE");
     wraps around every 4 billion transactions.  However,
     the functions shown in  use a
     64-bit type xid8 that does not wrap around during the life
-    of an installation, and can be converted to xid by casting if
-    required.  The data type pg_snapshot stores information about
+    of an installation and can be converted to xid by casting if
+    required;  see  for details.
+    The data type pg_snapshot stores information about
     transaction ID visibility at a particular moment in time.  Its components
     are described in .
     pg_snapshot's textual representation is
@@ -24273,7 +24283,7 @@ SELECT collation for ('foo' COLLATE "de_DE");
         xmax and not in this list was already completed at the time
         of the snapshot, and thus is either visible or dead according to its
         commit status.  This list does not include the transaction IDs of
-        subtransactions.
+        subtransactions (subxids).
        
       
      
index c8d0440e80f50a220cbd4a6b9d9dcdad5a238023..de0f7852a1bd6068440e6bbd3ccf28e675b3b933 100644 (file)
      3 (values under that are reserved) and the
      epoch value is incremented by one.
      In some contexts, the epoch and xid values are
-     considered together as a single 64-bit value.
+     considered together as a single 64-bit value;  see 
+     linkend="transaction-id"/> for more details.
     
     
      For more information, see
index ee0f7b4204dd6b6b517b3122bcb14afa2a4a0712..07aacf29a81e69a5c2f3327a1ee566c171670702 100644 (file)
@@ -897,7 +897,8 @@ postgres   27093  0.0  0.0  30096  2752 ?        Ss   11:34   0:00 postgres: ser
        backend_xid xid
       
       
-       Top-level transaction identifier of this backend, if any.
+       Top-level transaction identifier of this backend, if any;  see
+       .
       
      
 
@@ -1860,7 +1861,8 @@ postgres   27093  0.0  0.0  30096  2752 ?        Ss   11:34   0:00 postgres: ser
      
      
       virtualxid
-      Waiting to acquire a virtual transaction ID lock.
+      Waiting to acquire a virtual transaction ID lock;  see
+      .
      
     
    
index 392d5f1f9a773368a3eef5f3a664aaefe1a53dcd..02f31601b063763e77af4a76d5128a0c4feac2b4 100644 (file)
@@ -57,7 +57,8 @@ pgrowlocks(text) returns setof record
      
       locker
       xid
-      Transaction ID of locker, or multixact ID if multitransaction
+      Transaction ID of locker, or multixact ID if
+      multitransaction;  see 
      
      
       multi
index dba9cf413f901627716cc40c4795ad38da6fbc5d..7ea0e7b1fb4c1d4c19703fea072d28f8b3fd5205 100644 (file)
@@ -268,6 +268,7 @@ break is not needed in a wider output rendering.
   &brin;
   &hash;
   &storage;
+  &transaction;
   &bki;
   &planstats;
   &backup-manifest;
index daf8eb9a4364ae52f36949e194d2e565299443a8..e9fc6e5d1c84527ef3c2f86cd48483d92d5dbfeb 100644 (file)
@@ -21,7 +21,7 @@ PostgreSQL documentation
 
  
   RELEASE SAVEPOINT
-  destroy a previously defined savepoint
+  release a previously defined savepoint
  
 
  
@@ -34,23 +34,13 @@ RELEASE [ SAVEPOINT ] savepoint_name
   Description
 
   
-   RELEASE SAVEPOINT destroys a savepoint previously defined
-   in the current transaction.
-  
-
-  
-   Destroying a savepoint makes it unavailable as a rollback point,
-   but it has no other user visible behavior.  It does not undo the
-   effects of commands executed after the savepoint was established.
-   (To do that, see .)
-   Destroying a savepoint when
-   it is no longer needed allows the system to reclaim some resources
-   earlier than transaction end.
-  
-
-  
-   RELEASE SAVEPOINT also destroys all savepoints that were
-   established after the named savepoint was established.
+   RELEASE SAVEPOINT releases the named savepoint and
+   all active savepoints that were created after the named savepoint,
+   and frees their resources.  All changes made since the creation of
+   the savepoint that didn't already get rolled back are merged into
+   the transaction or savepoint that was active when the named savepoint
+   was created.  Changes made after RELEASE SAVEPOINT
+   will also be part of this active transaction or savepoint.
   
  
 
@@ -62,7 +52,7 @@ RELEASE [ SAVEPOINT ] savepoint_name
     savepoint_name
     
      
-      The name of the savepoint to destroy.
+      The name of the savepoint to release.
      
     
    
@@ -78,7 +68,7 @@ RELEASE [ SAVEPOINT ] savepoint_name
 
   
    It is not possible to release a savepoint when the transaction is in
-   an aborted state.
+   an aborted state;  to do that, use .
   
 
   
@@ -93,7 +83,7 @@ RELEASE [ SAVEPOINT ] savepoint_name
   Examples
 
   
-   To establish and later destroy a savepoint:
+   To establish and later release a savepoint:
 
 BEGIN;
     INSERT INTO table1 VALUES (3);
@@ -104,6 +94,36 @@ COMMIT;
 
    The above transaction will insert both 3 and 4.
   
+
+  
+   A more complex example with multiple nested subtransactions:
+
+BEGIN;
+    INSERT INTO table1 VALUES (1);
+    SAVEPOINT sp1;
+    INSERT INTO table1 VALUES (2);
+    SAVEPOINT sp2;
+    INSERT INTO table1 VALUES (3);
+    RELEASE SAVEPOINT sp2;
+    INSERT INTO table1 VALUES (4))); -- generates an error
+
+   In this example, the application requests the release of the savepoint
+   sp2, which inserted 3.  This changes the insert's
+   transaction context to sp1.  When the statement
+   attempting to insert value 4 generates an error, the insertion of 2 and
+   4 are lost because they are in the same, now-rolled back savepoint,
+   and value 3 is in the same transaction context.  The application can
+   now only choose one of these two commands, since all other commands
+   will be ignored:
+
+   ROLLBACK;
+   ROLLBACK TO SAVEPOINT sp1;
+
+   Choosing ROLLBACK will abort everything, including
+   value 1, whereas ROLLBACK TO SAVEPOINT sp1 will retain
+   value 1 and allow the transaction to continue.
+  
+
  
 
  
index 142f71e77425d5e3ab725c0c5625b5292c8b3726..7700547669f9c7a269447c9dd6acf9ef4a518175 100644 (file)
@@ -56,10 +56,10 @@ ROLLBACK [ WORK | TRANSACTION ] [ AND [ NO ] CHAIN ]
     AND CHAIN
     
      
-      If AND CHAIN is specified, a new transaction is
-      immediately started with the same transaction characteristics (see 
-      linkend="sql-set-transaction"/>) as the just finished one.  Otherwise,
-      no new transaction is started.
+      If AND CHAIN is specified, a new (not aborted)
+      transaction is immediately started with the same transaction
+      characteristics (see ) as the
+      just finished one.  Otherwise, no new transaction is started.
      
     
    
index 3d5a241e1aa981be0619af4846bd21622f1c4428..37e5ca8f12bc4f7e7ea3e79134c28c853669f40b 100644 (file)
@@ -35,8 +35,9 @@ ROLLBACK [ WORK | TRANSACTION ] TO [ SAVEPOINT ] savepoint_name
 
   
    Roll back all commands that were executed after the savepoint was
-   established.  The savepoint remains valid and can be rolled back to
-   again later, if needed.
+   established and then start a new subtransaction at the same transaction level.
+   The savepoint remains valid and can be rolled back to again later,
+   if needed.
   
 
   
index 24e1c89503cbc12ef9aba4a92fb0f1152af01431..6330a8d58651b0b7ba6821ed8055519adbb71de1 100644 (file)
@@ -4,8 +4,9 @@
  Reliability and the Write-Ahead Log
 
  
-  This chapter explains how the Write-Ahead Log is used to obtain
-  efficient, reliable operation.
+  This chapter explains how to control the reliability of
+  PostgreSQL, including details about the
+  Write-Ahead Log.
  
 
  
    seem to be a problem in practice.
   
  
+
 
diff --git a/doc/src/sgml/xact.sgml b/doc/src/sgml/xact.sgml
new file mode 100644 (file)
index 0000000..c0f4993
--- /dev/null
@@ -0,0 +1,205 @@
+
+
+
+
Transaction Processing
+
+  This chapter provides an overview of the internals of
+  PostgreSQL's transaction management system.
+  The word transaction is often abbreviated as xact.
+
+
+  Transactions and Identifiers
+
+  
+   Transactions can be created explicitly using BEGIN
+   or START TRANSACTION and ended using
+   COMMIT or ROLLBACK.  SQL
+   statements outside of explicit transactions automatically use
+   single-statement transactions.
+  
+
+  
+   Every transaction is identified by a unique
+   VirtualTransactionId (also called
+   virtualXID or vxid), which
+   is comprised of a backend ID (or backendID)
+   and a sequentially-assigned number local to each backend, known as
+   localXID.  For example, the virtual transaction
+   ID 4/12532 has a backendID
+   of 4 and a localXID of
+   12532.
+  
+
+  
+   Non-virtual TransactionIds (or xid),
+   e.g., 278394, are assigned sequentially to
+   transactions from a global counter used by all databases within
+   the PostgreSQL cluster.  This assignment
+   happens when a transaction first writes to the database. This means
+   lower-numbered xids started writing before higher-numbered xids.
+   Note that the order in which transactions perform their first database
+   write might be different from the order in which the transactions
+   started, particularly if the transaction started with statements that
+   only performed database reads.
+  
+
+  
+   The internal transaction ID type xid is 32 bits wide
+   and wraps around every
+   4 billion transactions. A 32-bit epoch is incremented during each
+   wraparound. There is also a 64-bit type xid8 which
+   includes this epoch and therefore does not wrap around during the
+   life of an installation;  it can be converted to xid by casting.
+   The functions in 
+   return xid8 values.  Xids are used as the
+   basis for PostgreSQL's 
+   linkend="mvcc">MVCC concurrency mechanism and streaming
+   replication.
+  
+
+  
+   When a top-level transaction with a (non-virtual) xid commits,
+   it is marked as committed in the pg_xact
+   directory. Additional information is recorded in the
+   pg_commit_ts directory if 
+   linkend="guc-track-commit-timestamp"/> is enabled.
+  
+
+  
+   In addition to vxid and xid,
+   prepared transactions are also assigned Global Transaction
+   Identifiers (GID). GIDs are string literals up
+   to 200 bytes long, which must be unique amongst other currently
+   prepared transactions.  The mapping of GID to xid is shown in 
+   linkend="view-pg-prepared-xacts">pg_prepared_xacts.
+  
+
+
+  Transactions and Locking
+
+  
+   The transaction IDs of currently executing transactions are shown in
+   pg_locks
+   in columns virtualxid and
+   transactionid.  Read-only transactions
+   will have virtualxids but NULL
+   transactionids, while both columns will be
+   set in read-write transactions.
+  
+
+  
+   Some lock types wait on virtualxid,
+   while other types wait on transactionid.
+   Row-level read and write locks are recorded directly in the locked
+   rows and can be inspected using the 
+   extension.  Row-level read locks might also require the assignment
+   of multixact IDs (mxid;  see 
+   linkend="vacuum-for-multixact-wraparound"/>).
+  
+
+
+  Subtransactions
+
+  
+   Subtransactions are started inside transactions, allowing large
+   transactions to be broken into smaller units.  Subtransactions can
+   commit or abort without affecting their parent transactions, allowing
+   parent transactions to continue. This allows errors to be handled
+   more easily, which is a common application development pattern.
+   The word subtransaction is often abbreviated as
+   subxact.
+  
+
+  
+   Subtransactions can be started explicitly using the
+   SAVEPOINT command, but can also be started in
+   other ways, such as PL/pgSQL's EXCEPTION clause.
+   PL/Python and PL/TCL also support explicit subtransactions.
+   Subtransactions can also be started from other subtransactions.
+   The top-level transaction and its child subtransactions form a
+   hierarchy or tree, which is why we refer to the main transaction as
+   the top-level transaction.
+  
+
+  
+   If a subtransaction is assigned a non-virtual transaction ID,
+   its transaction ID is referred to as a subxid.
+   Read-only subtransactions are not assigned subxids, but once they
+   attempt to write, they will be assigned one. This also causes all of
+   a subxid's parents, up to and including the top-level transaction,
+   to be assigned non-virtual transaction ids.  We ensure that a parent
+   xid is always lower than any of its child subxids.
+  
+
+  
+   The immediate parent xid of each subxid is recorded in the
+   pg_subtrans directory. No entry is made for
+   top-level xids since they do not have a parent, nor is an entry made
+   for read-only subtransactions.
+  
+
+  
+   When a subtransaction commits, all of its committed child
+   subtransactions with subxids will also be considered subcommitted
+   in that transaction.  When a subtransaction aborts, all of its child
+   subtransactions will also be considered aborted.
+  
+
+  
+   When a top-level transaction with an xid commits, all of its
+   subcommitted child subtransactions are also persistently recorded
+   as committed in the pg_xact directory.  If the
+   top-level transaction aborts, all its subtransactions are also aborted,
+   even if they were subcommitted.
+  
+
+  
+   The more subtransactions each transaction keeps open (not
+   rolled back or released), the greater the transaction management
+   overhead. Up to 64 open subxids are cached in shared memory for
+   each backend; after that point, the storage I/O overhead increases
+   significantly due to additional lookups of subxid entries in
+   pg_subtrans.
+  
+
+
+  Two-Phase Transactions
+
+  
+   PostgreSQL supports a two-phase commit (2PC)
+   protocol that allows multiple distributed systems to work together
+   in a transactional manner.  The commands are PREPARE
+   TRANSACTION, COMMIT PREPARED and
+   ROLLBACK PREPARED.  Two-phase transactions
+   are intended for use by external transaction management systems.
+   PostgreSQL follows the features and model
+   proposed by the X/Open XA standard, but does not implement some less
+   often used aspects.
+  
+
+  
+   When the user executes PREPARE TRANSACTION, the
+   only possible next commands are COMMIT PREPARED
+   or ROLLBACK PREPARED. In general, this prepared
+   state is intended to be of very short duration, but external
+   availability issues might mean transactions stay in this state
+   for an extended interval. Short-lived prepared
+   transactions are stored only in shared memory and WAL.
+   Transactions that span checkpoints are recorded in the
+   pg_twophase directory.  Transactions
+   that are currently prepared can be inspected using 
+   linkend="view-pg-prepared-xacts">pg_prepared_xacts.
+  
+
+