postgresql.git
16 years agoAdd new SQL training web site to FAQ:
Bruce Momjian [Sat, 16 Aug 2008 00:32:36 +0000 (00:32 +0000)]
Add new SQL training web site to FAQ:

    
  •     "http://sqlzoo.net">http://sqlzoo.net
        


  • 16 years agoFix version warning bug in recently applied adjustments to psql startup.
    Bruce Momjian [Sat, 16 Aug 2008 00:16:56 +0000 (00:16 +0000)]
    Fix version warning bug in recently applied adjustments to psql startup.

    Gregory Stark

    16 years agoClean up the loose ends in selectivity estimation left by my patch for semi
    Tom Lane [Sat, 16 Aug 2008 00:01:38 +0000 (00:01 +0000)]
    Clean up the loose ends in selectivity estimation left by my patch for semi
    and anti joins.  To do this, pass the SpecialJoinInfo struct for the current
    join as an additional optional argument to operator join selectivity
    estimation functions.  This allows the estimator to tell not only what kind
    of join is being formed, but which variable is on which side of the join;
    a requirement long recognized but not dealt with till now.  This also leaves
    the door open for future improvements in the estimators, such as accounting
    for the null-insertion effects of lower outer joins.  I didn't do anything
    about that in the current patch but the information is in principle deducible
    from what's passed.

    The patch also clarifies the definition of join selectivity for semi/anti
    joins: it's the fraction of the left input that has (at least one) match
    in the right input.  This allows getting rid of some very fuzzy thinking
    that I had committed in the original 7.4-era IN-optimization patch.
    There's probably room to estimate this better than the present patch does,
    but at least we know what to estimate.

    Since I had to touch CREATE OPERATOR anyway to allow a variant signature
    for join estimator functions, I took the opportunity to add a couple of
    additional checks that were missing, per my recent message to -hackers:
    * Check that estimator functions return float8;
    * Require execute permission at the time of CREATE OPERATOR on the
    operator's function as well as the estimator functions;
    * Require ownership of any pre-existing operator that's modified by
    the command.
    I also moved the lookup of the functions out of OperatorCreate() and
    into operatorcmds.c, since that seemed more consistent with most of
    the other catalog object creation processes, eg CREATE TYPE.

    16 years agoPerformance fix for new anti-join code in nodeMergejoin.c: after finding a
    Tom Lane [Fri, 15 Aug 2008 19:20:42 +0000 (19:20 +0000)]
    Performance fix for new anti-join code in nodeMergejoin.c: after finding a
    match in antijoin mode, we should advance to next outer tuple not next inner.
    We know we don't want to return this outer tuple, and there is no point in
    advancing over matching inner tuples now, because we'd just have to do it
    again if the next outer tuple has the same merge key.  This makes a noticeable
    difference if there are lots of duplicate keys in both inputs.

    Similarly, after finding a match in semijoin mode, arrange to advance to
    the next outer tuple after returning the current match; or immediately,
    if it fails the extra quals.  The rationale is the same.  (This is a
    performance bug in existing releases; perhaps worth back-patching?  The
    planner tries to avoid using mergejoin with lots of duplicates, so it may
    not be a big issue in practice.)

    Nestloop and hash got this right to start with, but I made some cosmetic
    adjustments there to make the corresponding bits of logic look more similar.

    16 years agoMake the temporary directory for pgstat files configurable by the GUC
    Magnus Hagander [Fri, 15 Aug 2008 08:37:41 +0000 (08:37 +0000)]
    Make the temporary directory for pgstat files configurable by the GUC
    variable stats_temp_directory, instead of requiring the admin to
    mount/symlink the pg_stat_tmp directory manually.

    For now the config variable is PGC_POSTMASTER. Room for further improvment
    that would allow it to be changed on-the-fly.

    16 years agoFix pull_up_simple_union_all to copy all rtable entries from child subquery to
    Heikki Linnakangas [Thu, 14 Aug 2008 20:31:29 +0000 (20:31 +0000)]
    Fix pull_up_simple_union_all to copy all rtable entries from child subquery to
    parent, not only those with RangeTblRefs. We need them in ExecCheckRTPerms.

    Report by Brendan O'Shea. Back-patch to 8.2, where pull_up_simple_union_all
    was introduced.

    16 years agoImplement SEMI and ANTI joins in the planner and executor. (Semijoins replace
    Tom Lane [Thu, 14 Aug 2008 18:48:00 +0000 (18:48 +0000)]
    Implement SEMI and ANTI joins in the planner and executor.  (Semijoins replace
    the old JOIN_IN code, but antijoins are new functionality.)  Teach the planner
    to convert appropriate EXISTS and NOT EXISTS subqueries into semi and anti
    joins respectively.  Also, LEFT JOINs with suitable upper-level IS NULL
    filters are recognized as being anti joins.  Unify the InClauseInfo and
    OuterJoinInfo infrastructure into "SpecialJoinInfo".  With that change,
    it becomes possible to associate a SpecialJoinInfo with every join attempt,
    which permits some cleanup of join selectivity estimation.  That needs to be
    taken much further than this patch does, but the next step is to change the
    API for oprjoin selectivity functions, which seems like material for a
    separate patch.  So for the moment the output size estimates for semi and
    especially anti joins are quite bogus.

    16 years agopg_buffercache needs to be taught about relation forks, as Greg Stark
    Heikki Linnakangas [Thu, 14 Aug 2008 12:56:41 +0000 (12:56 +0000)]
    pg_buffercache needs to be taught about relation forks, as Greg Stark
    pointed out.

    16 years agoAdd URL for:
    Bruce Momjian [Thu, 14 Aug 2008 01:57:42 +0000 (01:57 +0000)]
    Add URL for:

    * Improve ability to modify views via ALTER TABLE

    >   http://archives.postgresql.org/pgsql-hackers/2008-07/msg01410.php

    16 years agoHave autovacuum consider processing TOAST tables separately from their
    Alvaro Herrera [Wed, 13 Aug 2008 00:07:50 +0000 (00:07 +0000)]
    Have autovacuum consider processing TOAST tables separately from their
    main tables.

    This requires vacuum() to accept processing a toast table standalone, so
    there's a user-visible change in that it's now possible (for a superuser) to
    execute "VACUUM pg_toast.pg_toast_XXX".

    16 years agoRemove TODO item
    Peter Eisentraut [Tue, 12 Aug 2008 09:55:08 +0000 (09:55 +0000)]
    Remove TODO item

        Allow XML to accept more liberal DOCTYPE specifications

    Everything works correctly, per today's email to -general.

    16 years agoAdd:
    Bruce Momjian [Tue, 12 Aug 2008 03:48:52 +0000 (03:48 +0000)]
    Add:

    > * Add 'hostgss' pg_hba.conf option to allow GSS link-level encryption
    >
    >   http://archives.postgresql.org/pgsql-hackers/2008-07/msg01454.php

    16 years agoRelation forks patch requires a catversion bump due to changes in the format
    Heikki Linnakangas [Mon, 11 Aug 2008 13:58:46 +0000 (13:58 +0000)]
    Relation forks patch requires a catversion bump due to changes in the format
    of some WAL records, and two-phase state files, which I forgot.

    16 years agoIntroduce the concept of relation forks. An smgr relation can now consist
    Heikki Linnakangas [Mon, 11 Aug 2008 11:05:11 +0000 (11:05 +0000)]
    Introduce the concept of relation forks. An smgr relation can now consist
    of multiple forks, and each fork can be created and grown separately.

    The bulk of this patch is about changing the smgr API to include an extra
    ForkNumber argument in every smgr function. Also, smgrscheduleunlink and
    smgrdounlink no longer implicitly call smgrclose, because other forks might
    still exist after unlinking one. The callers of those functions have been
    modified to call smgrclose instead.

    This patch in itself doesn't have any user-visible effect, but provides the
    infrastructure needed for upcoming patches. The additional forks envisioned
    are a rewritten FSM implementation that doesn't rely on a fixed-size shared
    memory block, and a visibility map to allow skipping portions of a table in
    VACUUM that have no dead tuples.

    16 years agoFix corner-case bug introduced with HOT: if REINDEX TABLE pg_class (or a
    Tom Lane [Sun, 10 Aug 2008 19:02:33 +0000 (19:02 +0000)]
    Fix corner-case bug introduced with HOT: if REINDEX TABLE pg_class (or a
    REINDEX DATABASE including same) is done before a session has done any other
    update on pg_class, the pg_class relcache entry was left with an incorrect
    setting of rd_indexattr, because the indexed-attributes set would be first
    demanded at a time when we'd forced a partial list of indexes into the
    pg_class entry, and it would remain cached after that.  This could result
    in incorrect decisions about HOT-update safety later in the same session.
    In practice, since only pg_class_relname_nsp_index would be missed out,
    only ALTER TABLE RENAME and ALTER TABLE SET SCHEMA could trigger a problem.
    Per report and test case from Ondrej Jirman.

    16 years agoInstall checks in executor startup to ensure that the tuples produced by an
    Tom Lane [Fri, 8 Aug 2008 17:01:11 +0000 (17:01 +0000)]
    Install checks in executor startup to ensure that the tuples produced by an
    INSERT or UPDATE will match the target table's current rowtype.  In pre-8.3
    releases inconsistency can arise with stale cached plans, as reported by
    Merlin Moncure.  (We patched the equivalent hazard on the SELECT side in Feb
    2007; I'm not sure why we thought there was no risk on the insertion side.)
    In 8.3 and HEAD this problem should be impossible due to plan cache
    invalidation management, but it seems prudent to make the check anyway.

    Back-patch as far as 8.0.  7.x versions lack ALTER COLUMN TYPE, so there
    seems no way to abuse a stale plan comparably.

    16 years agoImprove INTERSECT/EXCEPT hashing by realizing that we don't need to make any
    Tom Lane [Thu, 7 Aug 2008 19:35:02 +0000 (19:35 +0000)]
    Improve INTERSECT/EXCEPT hashing by realizing that we don't need to make any
    hashtable entries for tuples that are found only in the second input: they
    can never contribute to the output.  Furthermore, this implies that the
    planner should endeavor to put first the smaller (in number of groups) input
    relation for an INTERSECT.  Implement that, and upgrade prepunion's estimation
    of the number of rows returned by setops so that there's some amount of sanity
    in the estimate of which one is smaller.

    16 years agoSupport hashing for duplicate-elimination in INTERSECT and EXCEPT queries.
    Tom Lane [Thu, 7 Aug 2008 03:04:04 +0000 (03:04 +0000)]
    Support hashing for duplicate-elimination in INTERSECT and EXCEPT queries.
    This completes my project of improving usage of hashing for duplicate
    elimination (aggregate functions with DISTINCT remain undone, but that's
    for some other day).

    As with the previous patches, this means we can INTERSECT/EXCEPT on datatypes
    that can hash but not sort, and it means that INTERSECT/EXCEPT without ORDER
    BY are no longer certain to produce sorted output.

    16 years agoTeach the system how to use hashing for UNION. (INTERSECT/EXCEPT will follow,
    Tom Lane [Thu, 7 Aug 2008 01:11:52 +0000 (01:11 +0000)]
    Teach the system how to use hashing for UNION.  (INTERSECT/EXCEPT will follow,
    but seem like a separate patch since most of the remaining work is on the
    executor side.)  I took the opportunity to push selection of the grouping
    operators for set operations into the parser where it belongs.  Otherwise this
    is just a small exercise in making prepunion.c consider both alternatives.

    As with the recent DISTINCT patch, this means we can UNION on datatypes that
    can hash but not sort, and it means that UNION without ORDER BY is no longer
    certain to produce sorted output.

    16 years agoDo not allow Unique nodes to be scanned backwards. The code claimed that it
    Tom Lane [Tue, 5 Aug 2008 21:28:29 +0000 (21:28 +0000)]
    Do not allow Unique nodes to be scanned backwards.  The code claimed that it
    would work, but in fact it didn't return the same rows when moving backwards
    as when moving forwards.  This would have no visible effect in a DISTINCT
    query (at least assuming the column datatypes use a strong definition of
    equality), but it gave entirely wrong answers for DISTINCT ON queries.

    16 years agoDepartment of second thoughts: fix newly-added code in planner.c to make real
    Tom Lane [Tue, 5 Aug 2008 16:03:10 +0000 (16:03 +0000)]
    Department of second thoughts: fix newly-added code in planner.c to make real
    sure that DISTINCT ON does what it's supposed to, ie, sort by the full ORDER
    BY list before unique-ifying.  The error seems masked in simple cases by the
    fact that query_planner won't return query pathkeys that only partially match
    the requested sort order, but I wouldn't want to bet that it couldn't be
    exposed in some way or other.

    16 years agoAdd an ORDER BY to one more SELECT DISTINCT test case, per buildfarm results.
    Tom Lane [Tue, 5 Aug 2008 15:17:59 +0000 (15:17 +0000)]
    Add an ORDER BY to one more SELECT DISTINCT test case, per buildfarm results.

    16 years agoIn ReadOrZeroBuffer (and related entry points), don't bother to call
    Tom Lane [Tue, 5 Aug 2008 15:09:04 +0000 (15:09 +0000)]
    In ReadOrZeroBuffer (and related entry points), don't bother to call
    PageHeaderIsValid when we zero the buffer instead of reading the page in.
    The actual performance improvement is probably marginal since this function
    isn't very heavily used, but a cycle saved is a cycle earned.

    Zdenek Kotala

    16 years agoMove pgstat.tmp into a temporary directory under $PGDATA named pg_stat_tmp.
    Magnus Hagander [Tue, 5 Aug 2008 12:09:30 +0000 (12:09 +0000)]
    Move pgstat.tmp into a temporary directory under $PGDATA named pg_stat_tmp.
    This allows the use of a ramdrive (either through mount or symlink) for
    the temporary file that's written every half second, which should
    reduce I/O.

    On server shutdown/startup, the file is written to the old location in
    the global directory, to preserve data across restarts.

    Bump catversion since the $PGDATA directory layout changed.

    16 years agoFix some message style guideline violations in pg_regress, as well as
    Tom Lane [Tue, 5 Aug 2008 05:16:08 +0000 (05:16 +0000)]
    Fix some message style guideline violations in pg_regress, as well as
    some failures to expose messages for translation.

    16 years agoImprove SELECT DISTINCT to consider hash aggregation, as well as sort/uniq,
    Tom Lane [Tue, 5 Aug 2008 02:43:18 +0000 (02:43 +0000)]
    Improve SELECT DISTINCT to consider hash aggregation, as well as sort/uniq,
    as methods for implementing the DISTINCT step.  This eliminates the former
    performance gap between DISTINCT and GROUP BY, and also makes it possible
    to do SELECT DISTINCT on datatypes that only support hashing not sorting.

    SELECT DISTINCT ON is still always implemented by sorting; it would take
    executor changes to support hashing that, and it's not clear it's worth
    the trouble.

    This is a release-note-worthy incompatibility from previous PG versions,
    since SELECT DISTINCT can no longer be counted on to deliver sorted output
    without explicitly saying ORDER BY.  (Anyone who can't cope with that
    can consider turning off enable_hashagg.)

    Several regression test queries needed to have ORDER BY added to preserve
    stable output order.  I fixed the ones that manifested here, but there
    might be some other cases that show up on other platforms.

    16 years agoImprove CREATE/DROP/RENAME DATABASE so that when failing because the source
    Tom Lane [Mon, 4 Aug 2008 18:03:46 +0000 (18:03 +0000)]
    Improve CREATE/DROP/RENAME DATABASE so that when failing because the source
    or target database is being accessed by other users, it tells you whether
    the "other users" are live sessions or uncommitted prepared transactions.
    (Indeed, it tells you exactly how many of each, but that's mostly just
    because it was easy to do so.)  This should help forestall the gotcha of
    not realizing that a prepared transaction is what's blocking the command.
    Per discussion.

    16 years agoMake GROUP BY work properly for datatypes that only support hashing and not
    Tom Lane [Sun, 3 Aug 2008 19:10:52 +0000 (19:10 +0000)]
    Make GROUP BY work properly for datatypes that only support hashing and not
    sorting.  The infrastructure for this was all in place already; it's only
    necessary to fix the planner to not assume that sorting is always an available
    option.

    16 years agoTighten up the sanity checks in TypeCreate(): pass-by-value types must have
    Tom Lane [Sun, 3 Aug 2008 15:23:58 +0000 (15:23 +0000)]
    Tighten up the sanity checks in TypeCreate(): pass-by-value types must have
    a size that is one of the supported values, not just anything <= sizeof(Datum).
    Cross-check the alignment specification against size as well.

    16 years agoFix copy-and-pasteo that's causing pg_regress to lie about which file it can't
    Tom Lane [Sun, 3 Aug 2008 05:12:38 +0000 (05:12 +0000)]
    Fix copy-and-pasteo that's causing pg_regress to lie about which file it can't
    read when the --temp-config argument is bad.  Noted while wondering why
    buildfarm member dungbeetle is failing ... this isn't why, but it is why
    the error report isn't very helpful ...

    16 years agoRearrange the querytree representation of ORDER BY/GROUP BY/DISTINCT items
    Tom Lane [Sat, 2 Aug 2008 21:32:01 +0000 (21:32 +0000)]
    Rearrange the querytree representation of ORDER BY/GROUP BY/DISTINCT items
    as per my recent proposal:

    1. Fold SortClause and GroupClause into a single node type SortGroupClause.
    We were already relying on them to be struct-equivalent, so using two node
    tags wasn't accomplishing much except to get in the way of comparing items
    with equal().

    2. Add an "eqop" field to SortGroupClause to carry the associated equality
    operator.  This is cheap for the parser to get at the same time it's looking
    up the sort operator, and storing it eliminates the need for repeated
    not-so-cheap lookups during planning.  In future this will also let us
    represent GROUP/DISTINCT operations on datatypes that have hash opclasses
    but no btree opclasses (ie, they have equality but no natural sort order).
    The previous representation simply didn't work for that, since its only
    indicator of comparison semantics was a sort operator.

    3. Add a hasDistinctOn boolean to struct Query to explicitly record whether
    the distinctClause came from DISTINCT or DISTINCT ON.  This allows removing
    some complicated and not 100% bulletproof code that attempted to figure
    that out from the distinctClause alone.

    This patch doesn't in itself create any new capability, but it's necessary
    infrastructure for future attempts to use hash-based grouping for DISTINCT
    and UNION/INTERSECT/EXCEPT.

    16 years agoCope with Tcl versions that do not create a tclsh symlink to the version-
    Alvaro Herrera [Fri, 1 Aug 2008 13:50:52 +0000 (13:50 +0000)]
    Cope with Tcl versions that do not create a tclsh symlink to the version-
    numbered program.  Per persistent buildfarm failures.

    Tom Lane

    16 years agoAdd a few more DTrace probes to the backend.
    Alvaro Herrera [Fri, 1 Aug 2008 13:16:09 +0000 (13:16 +0000)]
    Add a few more DTrace probes to the backend.

    Robert Lor

    16 years agoRearrange the code in auth.c so that all functions for a single authentication
    Magnus Hagander [Fri, 1 Aug 2008 11:41:12 +0000 (11:41 +0000)]
    Rearrange the code in auth.c so that all functions for a single authentication
    method is grouped together in a reasonably similar way, keeping the "global
    shared functions" together in their own section as well. Makes it a lot easier
    to find your way around the code.

    16 years agoMove ident authentication code into auth.c along with the other authenciation
    Magnus Hagander [Fri, 1 Aug 2008 09:09:49 +0000 (09:09 +0000)]
    Move ident authentication code into auth.c along with the other authenciation
    routines, leaving hba.c to deal only with processing the HBA specific files.

    16 years agoFix parser so that we don't modify the user-written ORDER BY list in order
    Tom Lane [Thu, 31 Jul 2008 22:47:56 +0000 (22:47 +0000)]
    Fix parser so that we don't modify the user-written ORDER BY list in order
    to represent DISTINCT or DISTINCT ON.  This gets rid of a longstanding
    annoyance that a view or rule using SELECT DISTINCT will be dumped out
    with an overspecified ORDER BY list, and is one small step along the way
    to decoupling DISTINCT and ORDER BY enough so that hash-based implementation
    of DISTINCT will be possible.  In passing, improve transformDistinctClause
    so that it doesn't reject duplicate DISTINCT ON items, as was reported by
    Steve Midgley a couple weeks ago.

    16 years agoAdd URL to:
    Bruce Momjian [Thu, 31 Jul 2008 20:47:30 +0000 (20:47 +0000)]
    Add URL to:

    * Consider decreasing the I/O caused by updating tuple hint bits

    >   http://archives.postgresql.org/pgsql-patches/2008-07/msg00199.php

    16 years agoRequire superuser privilege to create base types (but not composites, enums,
    Tom Lane [Thu, 31 Jul 2008 16:27:16 +0000 (16:27 +0000)]
    Require superuser privilege to create base types (but not composites, enums,
    or domains).  This was already effectively required because you had to own
    the I/O functions, and the I/O functions pretty much have to be written in
    C since we don't let PL functions take or return cstring.  But given the
    possible security consequences of a malicious type definition, it seems
    prudent to enforce superuser requirement directly.  Per recent discussion.

    16 years agoAllow I/O conversion casts to be applied to or from any type that is a member
    Tom Lane [Wed, 30 Jul 2008 21:23:17 +0000 (21:23 +0000)]
    Allow I/O conversion casts to be applied to or from any type that is a member
    of the STRING type category, thereby opening up the mechanism for user-defined
    types.  This is mainly for the benefit of citext, though; there aren't likely
    to be a lot of types that are all general-purpose character strings.
    Per discussion with David Wheeler.

    16 years agoFlip the default typispreferred setting from true to false. This affects
    Tom Lane [Wed, 30 Jul 2008 19:35:13 +0000 (19:35 +0000)]
    Flip the default typispreferred setting from true to false.  This affects
    only type categories in which the previous coding made *every* type
    preferred; so there is no change in effective behavior, because the function
    resolution rules only do something different when faced with a choice
    between preferred and non-preferred types in the same category.  It just
    seems safer and less surprising to have CREATE TYPE default to non-preferred
    status ...

    16 years agoAdjust citext to make use of the new ability to declare its type category:
    Tom Lane [Wed, 30 Jul 2008 17:08:52 +0000 (17:08 +0000)]
    Adjust citext to make use of the new ability to declare its type category:
    by putting it into the standard string category, we cause casts from citext
    to text to be recognized as "preferred" casts.  This eliminates the need
    for creation of alias functions and operators that only serve to prevent
    ambiguous-function errors; get rid of the ones that were in the original
    commit.

    16 years agoReplace the hard-wired type knowledge in TypeCategory() and IsPreferredType()
    Tom Lane [Wed, 30 Jul 2008 17:05:05 +0000 (17:05 +0000)]
    Replace the hard-wired type knowledge in TypeCategory() and IsPreferredType()
    with system catalog lookups, as was foreseen to be necessary almost since
    their creation.  Instead put the information into two new pg_type columns,
    typcategory and typispreferred.  Add support for setting these when
    creating a user-defined base type.

    The category column is just a "char" (i.e. a poor man's enum), allowing
    a crude form of user extensibility of the category list: just use an
    otherwise-unused character.  This seems sufficient for foreseen uses,
    but we could upgrade to having an actual category catalog someday, if
    there proves to be a huge demand for custom type categories.

    In this patch I have attempted to hew exactly to the behavior of the
    previous hardwired logic, except for introducing new type categories for
    arrays, composites, and enums.  In particular the default preferred state
    for user-defined types remains TRUE.  That seems worth revisiting, but it
    should be done as a separate patch from introducing the infrastructure.
    Likewise, any adjustment of the standard set of categories should be done
    separately.

    16 years agoAdd a new, improved version of citext as a contrib module.
    Tom Lane [Tue, 29 Jul 2008 18:31:20 +0000 (18:31 +0000)]
    Add a new, improved version of citext as a contrib module.

    David E. Wheeler

    16 years agoCleanup reference to config.pl so it makes sense not only in
    Magnus Hagander [Tue, 29 Jul 2008 15:23:44 +0000 (15:23 +0000)]
    Cleanup reference to config.pl so it makes sense not only in
    SGML source but in the actual web/pdf viewer...

    16 years agoDocument which versions of ActivePerl and ActiveTcl are required
    Magnus Hagander [Tue, 29 Jul 2008 15:17:27 +0000 (15:17 +0000)]
    Document which versions of ActivePerl and ActiveTcl are required
    for building on MSVC, and that the free distribution is enough
    (no need for the enterprise version).

    Per gripe from Martin Zaun.

    16 years agoAs noted by Andrew Gierth, there's really no need any more to force a junk
    Tom Lane [Sat, 26 Jul 2008 19:15:35 +0000 (19:15 +0000)]
    As noted by Andrew Gierth, there's really no need any more to force a junk
    filter to be used when INSERT or SELECT INTO has a plan that returns raw
    disk tuples.  The virtual-tuple-slot optimizations that were put in place
    awhile ago mean that ExecInsert has to do ExecMaterializeSlot, and that
    already copies the tuple if it's raw (and does so more efficiently than
    a junk filter, too).  So get rid of that logic.  This in turn means that
    we can throw away ExecMayReturnRawTuples, which wasn't used for any other
    purpose, and was always a kluge anyway.

    In passing, move a couple of SELECT-INTO-specific fields out of EState
    and into the private state of the SELECT INTO DestReceiver, as was foreseen
    in an old comment there.  Also make intorel_receive use ExecMaterializeSlot
    not ExecCopySlotTuple, for consistency with ExecInsert and to possibly save
    a tuple copy step in some cases.

    16 years agoFix parsing of LDAP URLs so it doesn't reject spaces in the "suffix" part.
    Tom Lane [Thu, 24 Jul 2008 17:51:55 +0000 (17:51 +0000)]
    Fix parsing of LDAP URLs so it doesn't reject spaces in the "suffix" part.
    Per report from César Miguel Oliveira Alves.

    16 years agoRemove some redundant tests and improve comments in next_token().
    Tom Lane [Thu, 24 Jul 2008 17:43:45 +0000 (17:43 +0000)]
    Remove some redundant tests and improve comments in next_token().
    Cosmetic, but it might make this a bit less confusing to the next reader.

    16 years agoRatchet up patch to improve autovacuum wraparound messages.
    Alvaro Herrera [Wed, 23 Jul 2008 20:20:10 +0000 (20:20 +0000)]
    Ratchet up patch to improve autovacuum wraparound messages.

    Simon Riggs

    16 years agoUse guc.c's parse_int() instead of pg_atoi() to parse fillfactor in
    Tom Lane [Wed, 23 Jul 2008 17:29:53 +0000 (17:29 +0000)]
    Use guc.c's parse_int() instead of pg_atoi() to parse fillfactor in
    default_reloptions().  The previous coding was really a bug because pg_atoi()
    will always throw elog on bad input data, whereas default_reloptions is not
    supposed to complain about bad input unless its validate parameter is true.
    Right now you could only expose the problem by hand-modifying
    pg_class.reloptions into an invalid state, so it doesn't seem worth
    back-patching; but we should get it right in HEAD because there might be other
    situations in future.  Noted while studying GIN fast-update patch.

    16 years agoAbort if Tcl support was configured and no tcl shell was found.
    Peter Eisentraut [Wed, 23 Jul 2008 17:07:50 +0000 (17:07 +0000)]
    Abort if Tcl support was configured and no tcl shell was found.
    This is required because the value is substituted into the pltcl_*mod
    scripts.

    16 years agoUpdate link to Oleg and Teodor's GIN page.
    Tom Lane [Tue, 22 Jul 2008 22:05:24 +0000 (22:05 +0000)]
    Update link to Oleg and Teodor's GIN page.
    (Extracted from fast-insert patch, since it ought to be back-patched)

    16 years agoPublish more openly the fact that autovacuum is working for wraparound
    Alvaro Herrera [Mon, 21 Jul 2008 15:27:02 +0000 (15:27 +0000)]
    Publish more openly the fact that autovacuum is working for wraparound
    protection.

    Simon Riggs

    16 years agoAdd comment about the two different query strings that ExecuteQuery()
    Tom Lane [Mon, 21 Jul 2008 15:26:55 +0000 (15:26 +0000)]
    Add comment about the two different query strings that ExecuteQuery()
    has to deal with.

    16 years agoCode review for array_fill patch: fix inadequate check for array size overflow
    Tom Lane [Mon, 21 Jul 2008 04:47:00 +0000 (04:47 +0000)]
    Code review for array_fill patch: fix inadequate check for array size overflow
    and bogus documentation (dimension arrays are int[] not anyarray).  Also the
    errhint() messages seem to be really errdetail(), since there is nothing
    heuristic about them.  Some other trivial cosmetic improvements.

    16 years agoAdd a pg_dump option --lock-wait-timeout to allow failing the dump if unable
    Tom Lane [Sun, 20 Jul 2008 18:43:30 +0000 (18:43 +0000)]
    Add a pg_dump option --lock-wait-timeout to allow failing the dump if unable
    to acquire shared table locks within a specified amount of time.

    David Gould

    16 years agoRevert patch so .psqlrc can suppress startup banner:
    Bruce Momjian [Sun, 20 Jul 2008 06:08:38 +0000 (06:08 +0000)]
    Revert patch so .psqlrc can suppress startup banner:

      In psql, run .psqlrc _after_ printing warnings and banner.

    16 years agoAvoid substituting NAMEDATALEN, FLOAT4PASSBYVAL, and FLOAT8PASSBYVAL into
    Tom Lane [Sat, 19 Jul 2008 04:01:29 +0000 (04:01 +0000)]
    Avoid substituting NAMEDATALEN, FLOAT4PASSBYVAL, and FLOAT8PASSBYVAL into
    the postgres.bki file during build, because we want that file to be entirely
    platform- and configuration-independent; else it can't safely be put into
    /usr/share on multiarch machines.  We can do the substitution during initdb,
    instead.  FLOAT4PASSBYVAL and FLOAT8PASSBYVAL are new breakage as of 8.4,
    while the NAMEDATALEN hazard has been there all along but I guess no one
    tripped over it.  Noticed while trying to build "universal" OS X binaries.

    16 years agoAdjust things so that the query_string of a cached plan and the sourceText of
    Tom Lane [Fri, 18 Jul 2008 20:26:06 +0000 (20:26 +0000)]
    Adjust things so that the query_string of a cached plan and the sourceText of
    a portal are never NULL, but reliably provide the source text of the query.
    It turns out that there was only one place that was really taking a short-cut,
    which was the 'EXECUTE' utility statement.  That doesn't seem like a
    sufficiently critical performance hotspot to justify not offering a guarantee
    of validity of the portal source text.  Fix it to copy the source text over
    from the cached plan.  Add Asserts in the places that set up cached plans and
    portals to reject null source strings, and simplify a bunch of places that
    formerly needed to guard against nulls.

    There may be a few places that cons up statements for execution without
    having any source text at all; I found one such in ConvertTriggerToFK().
    It seems sufficient to inject a phony source string in such a case,
    for instance
            ProcessUtility((Node *) atstmt,
                           "(generated ALTER TABLE ADD FOREIGN KEY command)",
                           NULL, false, None_Receiver, NULL);

    We should take a second look at the usage of debug_query_string,
    particularly the recently added current_query() SQL function.

    ITAGAKI Takahiro and Tom Lane

    16 years agoProvide a function hook to let plug-ins get control around ExecutorRun.
    Tom Lane [Fri, 18 Jul 2008 18:23:47 +0000 (18:23 +0000)]
    Provide a function hook to let plug-ins get control around ExecutorRun.

    ITAGAKI Takahiro

    16 years agoProperly document archive/restore command examples on Windows.
    Bruce Momjian [Fri, 18 Jul 2008 17:33:17 +0000 (17:33 +0000)]
    Properly document archive/restore command examples on Windows.

    ITAGAKI Takahiro

    16 years agoIn psql, run .psqlrc _after_ printing warnings and banner.
    Bruce Momjian [Fri, 18 Jul 2008 17:19:55 +0000 (17:19 +0000)]
    In psql, run .psqlrc _after_ printing warnings and banner.

    16 years agoFix a race condition that I introduced into sinvaladt.c during the recent
    Tom Lane [Fri, 18 Jul 2008 14:45:48 +0000 (14:45 +0000)]
    Fix a race condition that I introduced into sinvaladt.c during the recent
    rewrite.  When called from SIInsertDataEntries, SICleanupQueue releases
    the write lock if it has to issue a kill() to signal some laggard backend.
    That still seems like a good idea --- but it's possible that by the time
    we get the lock back, there are no longer enough free message slots to
    satisfy SIInsertDataEntries' requirement.  Must recheck, and repeat the
    whole SICleanupQueue process if not.  Noted while reading code.

    16 years agoSuppress compiler warning, and not incidentally make the code more
    Tom Lane [Fri, 18 Jul 2008 04:20:24 +0000 (04:20 +0000)]
    Suppress compiler warning, and not incidentally make the code more
    robust.  The previous coding was quite risky because it was testing
    conditions different from 'is the array really allocated?'.

    16 years agoImplement SQL-spec RETURNS TABLE syntax for functions.
    Tom Lane [Fri, 18 Jul 2008 03:32:53 +0000 (03:32 +0000)]
    Implement SQL-spec RETURNS TABLE syntax for functions.

    (Unlike the original submission, this patch treats TABLE output parameters
    as being entirely equivalent to OUT parameters -- tgl)

    Pavel Stehule

    16 years agoAdd URL for:
    Bruce Momjian [Fri, 18 Jul 2008 02:03:28 +0000 (02:03 +0000)]
    Add URL for:

    * Implement SQL:2003 window functions

    >   http://archives.postgresql.org/pgsql-hackers/2008-07/msg00232.php

    16 years agoAdd MSVC++ debug libraries to .cvsignore.
    Alvaro Herrera [Thu, 17 Jul 2008 21:16:23 +0000 (21:16 +0000)]
    Add MSVC++ debug libraries to .cvsignore.

    16 years agoAvoid crashing when a table is deleted while we're on the process of checking
    Alvaro Herrera [Thu, 17 Jul 2008 21:02:31 +0000 (21:02 +0000)]
    Avoid crashing when a table is deleted while we're on the process of checking
    it.

    Per report from Tom Lane based on buildfarm evidence.

    16 years agoAdd dump support for SortBy nodes. Needed this while debugging a reported
    Tom Lane [Thu, 17 Jul 2008 16:02:12 +0000 (16:02 +0000)]
    Add dump support for SortBy nodes.  Needed this while debugging a reported
    problem with DISTINCT, so might as well commit it.

    16 years agoAdd to TODO:
    Bruce Momjian [Thu, 17 Jul 2008 01:34:33 +0000 (01:34 +0000)]
    Add to TODO:
    >
    > * Reduce locking requirements for creating a trigger
    >
    >   http://archives.postgresql.org/pgsql-hackers/2008-06/msg00635.php
    >

    16 years agoAdd URL for:
    Bruce Momjian [Wed, 16 Jul 2008 21:03:45 +0000 (21:03 +0000)]
    Add URL for:

    * Implement SQL:2003 window functions
    >
    >   http://archives.postgresql.org/pgsql-hackers/2008-06/msg00380.php
    >

    16 years agoFix previous patch so that it actually works --- consider TRUNCATE foo, public.foo
    Tom Lane [Wed, 16 Jul 2008 19:33:25 +0000 (19:33 +0000)]
    Fix previous patch so that it actually works --- consider TRUNCATE foo, public.foo

    16 years agoAdd a "provariadic" column to pg_proc to eliminate the remarkably expensive
    Tom Lane [Wed, 16 Jul 2008 16:55:24 +0000 (16:55 +0000)]
    Add a "provariadic" column to pg_proc to eliminate the remarkably expensive
    need to deconstruct proargmodes for each pg_proc entry inspected by
    FuncnameGetCandidates().  Fixes function lookup performance regression
    caused by yesterday's variadic-functions patch.

    In passing, make pg_proc.probin be NULL, rather than a dummy value '-',
    in cases where it is not actually used for the particular type of function.
    This should buy back some of the space cost of the extra column.

    16 years agoAllow TRUNCATE foo, foo to succeed, per report from Nikhils.
    Bruce Momjian [Wed, 16 Jul 2008 16:54:08 +0000 (16:54 +0000)]
    Allow TRUNCATE foo, foo to succeed, per report from Nikhils.

    16 years agoAdd to TODO:
    Bruce Momjian [Wed, 16 Jul 2008 15:30:19 +0000 (15:30 +0000)]
    Add to TODO:

    >
    >  o Add external tool to auto-tune some postgresql.conf parameters
    >
    >    http://archives.postgresql.org/pgsql-hackers/2008-06/msg00000.php
    >

    16 years agoSupport "variadic" functions, which can accept a variable number of arguments
    Tom Lane [Wed, 16 Jul 2008 01:30:23 +0000 (01:30 +0000)]
    Support "variadic" functions, which can accept a variable number of arguments
    so long as all the trailing arguments are of the same (non-array) type.
    The function receives them as a single array argument (which is why they
    have to all be the same type).

    It might be useful to extend this facility to aggregates, but this patch
    doesn't do that.

    This patch imposes a noticeable slowdown on function lookup --- a follow-on
    patch will fix that by adding a redundant column to pg_proc.

    Pavel Stehule

    16 years agoAdd array_fill() to create arrays initialized with a value.
    Bruce Momjian [Wed, 16 Jul 2008 00:48:54 +0000 (00:48 +0000)]
    Add array_fill() to create arrays initialized with a value.

    Pavel Stehule

    16 years agoFix alignment of SGML array docs.
    Bruce Momjian [Tue, 15 Jul 2008 18:24:59 +0000 (18:24 +0000)]
    Fix alignment of SGML array docs.

    16 years agoAdd Swedish_Sweden.1252 Windows locale example to docs.
    Bruce Momjian [Tue, 15 Jul 2008 17:45:03 +0000 (17:45 +0000)]
    Add Swedish_Sweden.1252 Windows locale example to docs.

    16 years agoAddendum: psql sequence value display patch was originally written by
    Bruce Momjian [Tue, 15 Jul 2008 16:06:06 +0000 (16:06 +0000)]
    Addendum:  psql sequence value display patch was originally written by
    Euler Taveira de Oliveira.

    16 years agoAdd to TODO:
    Bruce Momjian [Tue, 15 Jul 2008 15:03:41 +0000 (15:03 +0000)]
    Add to TODO:

    >
    >  o Reduce PITR WAL file size by removing full page writes and
    >    by removing trailing bytes to improve compression

    16 years agoAdd TODO:
    Bruce Momjian [Tue, 15 Jul 2008 13:55:20 +0000 (13:55 +0000)]
    Add TODO:

    >
    > * Consider decreasing the I/O caused by updating tuple hint bits
    >
    >   http://archives.postgresql.org/pgsql-hackers/2008-05/msg00847.php
    >

    16 years agoDone:
    Bruce Momjian [Tue, 15 Jul 2008 03:17:51 +0000 (03:17 +0000)]
    Done:

    >  o -Have psql show current values for a sequence

    16 years agoHave psql \d show the value of sequence columns.
    Bruce Momjian [Tue, 15 Jul 2008 03:16:03 +0000 (03:16 +0000)]
    Have psql \d show the value of sequence columns.

    Dickson S. Guedes

    16 years agoClarify that locale names on Windows are more verbose.
    Bruce Momjian [Tue, 15 Jul 2008 01:35:23 +0000 (01:35 +0000)]
    Clarify that locale names on Windows are more verbose.

    Report from Martin Saschek

    16 years agoAdd comment about literal strings in our syntax not being translated in
    Bruce Momjian [Mon, 14 Jul 2008 23:13:04 +0000 (23:13 +0000)]
    Add comment about literal strings in our syntax not being translated in
    psql.

    16 years agoAdd to TODO:
    Bruce Momjian [Mon, 14 Jul 2008 22:57:21 +0000 (22:57 +0000)]
    Add to TODO:

    > * Improve ability to modify views via ALTER TABLE
    >
    >   http://archives.postgresql.org/pgsql-hackers/2008-05/msg00691.php

    16 years agoAdd column storage type to psql \d+ display.
    Bruce Momjian [Mon, 14 Jul 2008 22:51:48 +0000 (22:51 +0000)]
    Add column storage type to psql \d+ display.

    Gregory Stark

    16 years agoIn psql, rename trans_* variables to translate_*, for clarity.
    Bruce Momjian [Mon, 14 Jul 2008 22:00:04 +0000 (22:00 +0000)]
    In psql, rename trans_* variables to translate_*, for clarity.

    16 years agoDone:
    Bruce Momjian [Mon, 14 Jul 2008 20:54:18 +0000 (20:54 +0000)]
    Done:

    < * Add temporal versions of generate_series()
    > * -Add temporal versions of generate_series()

    16 years agoAdd URL for:
    Bruce Momjian [Mon, 14 Jul 2008 17:54:54 +0000 (17:54 +0000)]
    Add URL for:

    * Consider allowing control of upper/lower case folding of unquoted
      identifiers

    >   http://archives.postgresql.org/pgsql-hackers/2008-07/msg00415.php

    16 years agoDone, per Simon:
    Bruce Momjian [Mon, 14 Jul 2008 17:16:13 +0000 (17:16 +0000)]
    Done, per Simon:

    <  o Fix server restart problem when the server was shutdown during
    >  o -Fix server restart problem when the server was shutdown during

    16 years agoClean up buildfarm failures arising from the seemingly straightforward page
    Tom Lane [Mon, 14 Jul 2008 03:22:32 +0000 (03:22 +0000)]
    Clean up buildfarm failures arising from the seemingly straightforward page
    macros patch :-(.  Results from both baiji and mastodon imply that MSVC
    fails to perceive offsetof(PageHeaderData, pd_linp[0]) as a constant
    expression in some contexts where offsetof(PageHeaderData, pd_linp) works
    fine.  Sloth, thy name is Micro.

    16 years agoCreate a type-specific typanalyze routine for tsvector, which collects stats
    Tom Lane [Mon, 14 Jul 2008 00:51:46 +0000 (00:51 +0000)]
    Create a type-specific typanalyze routine for tsvector, which collects stats
    on the most common individual lexemes in place of the mostly-useless default
    behavior of counting duplicate tsvectors.  Future work: create selectivity
    estimation functions that actually do something with these stats.

    (Some other things we ought to look at doing: using the Lossy Counting
    algorithm in compute_minimal_stats, and using the element-counting idea for
    stats on regular arrays.)

    Jan Urbanski

    16 years agoChange the PageGetContents() macro to guarantee its result is maxalign'd,
    Tom Lane [Sun, 13 Jul 2008 21:50:04 +0000 (21:50 +0000)]
    Change the PageGetContents() macro to guarantee its result is maxalign'd,
    thereby forestalling any problems with alignment of the data structure placed
    there.  Since SizeOfPageHeaderData is maxalign'd anyway in 8.3 and HEAD, this
    does not actually change anything right now, but it is foreseeable that the
    header size will change again someday.  I had to fix a couple of places that
    were assuming that the content offset is just SizeOfPageHeaderData rather than
    MAXALIGN(SizeOfPageHeaderData).  Per discussion of Zdenek's page-macros patch.

    16 years agoClean up the use of some page-header-access macros: principally, use
    Tom Lane [Sun, 13 Jul 2008 20:45:47 +0000 (20:45 +0000)]
    Clean up the use of some page-header-access macros: principally, use
    SizeOfPageHeaderData instead of sizeof(PageHeaderData) in places where that
    makes the code clearer, and avoid casting between Page and PageHeader where
    possible.  Zdenek Kotala, with some additional cleanup by Heikki Linnakangas.

    I did not apply the parts of the proposed patch that would have resulted in
    slightly changing the on-disk format of hash indexes; it seems to me that's
    not a win as long as there's any chance of having in-place upgrade for 8.4.

    16 years agoFix a couple of stray misuses of "binary compatible".
    Tom Lane [Sat, 12 Jul 2008 16:20:06 +0000 (16:20 +0000)]
    Fix a couple of stray misuses of "binary compatible".

    16 years agoMore replacements of binary compatible to binary coercible.
    Peter Eisentraut [Sat, 12 Jul 2008 10:44:56 +0000 (10:44 +0000)]
    More replacements of binary compatible to binary coercible.

    16 years agoDon't make --enable-cassert turn on RANDOMIZE_ALLOCATED_MEMORY automatically;
    Tom Lane [Sat, 12 Jul 2008 02:28:43 +0000 (02:28 +0000)]
    Don't make --enable-cassert turn on RANDOMIZE_ALLOCATED_MEMORY automatically;
    it's just too dang expensive.  Per recent discussion, but I just got my
    nose rubbed in it again while doing some performance checking.

    16 years agoConst-ify the arguments of str_tolower() and friends to suppress compile
    Tom Lane [Sat, 12 Jul 2008 00:44:38 +0000 (00:44 +0000)]
    Const-ify the arguments of str_tolower() and friends to suppress compile
    warnings.  Clean up various unneeded cruft that was left behind after
    creating those routines.  Introduce some convenience functions str_tolower_z
    etc to eliminate tedious and error-prone double arguments in formatting.c.
    (Currently there seems no need to export the latter, but maybe reconsider
    this later.)