More splits and cleanups...

Add in support so that build will at least guess which template file
should be used :)

remove create.{source,sql} as they are now down in the 'sql' directory
partially split

Change Postgres95 to PostgreSQL

The whole file needs updating, but will work on that after finishing
with the splits

More splits of the regression tests in order to make them more
user-friendly (and more useful)

Purge out tests/expected that are now in sql/expected subdirectories from
'master' file

Commit mods to regress.sh so that split out tests are run...look forward
to finding out how to do a proper redirect to continue visual cleanup :)

Again, add more tests

Add more expected.out results

There are the broken out 'sql' queries from queries.source

tests allows us to have a 'for...done' loop inside of regress.sh for
both doing the tests, and determining fail/ok results

These are the broken down 'expected.output' files created so far

Print 'Group' as name of Group plan.

Changes for GROUP BY func_results:
AddGroupAttrToTlist() is not called from anywhere now.

Changes for GROUP BY func_results.

Now we can GROUP BY func_results.

Fix for 'SET var_name TO var_value': var_name already defined.

Put resdom into GroupClause (GROUP BY func_results)

Check for attributeList is NULL in ConstructTupleDescriptor ().

Submitted by Raymond Toy.

From: Thomas Lockhart 
Subject: [HACKERS] Fix for European dates

This apparently fixes the European date reading problem reported
by several (European) bleeding edge adopters. I tried a few test
cases and it doesn't break the non-EuroDate cases in my test suite.

Move YACC and YFLAGS into the template files

Clean up the .sample files...comment out all sample entries except for
the localhost one

This commit represents a clean compile with the new templates under
FreeBSD

The Makefile(s) have all been cleaned up such that there is a single
LDFLAGS vs LD_ADD or LDADD or LDFLAGS or LDFLAGS_BE.  The Makefile(s)
should be alot more straightforward then they were before...and
consistent

Got AROPT setting backwards...correct it

Add distclean to target listing

Again, needs float.h

needs float.h for DBL_MIN under FreeBSD

Remove some files that were inadvertantly created
Clean up format of linux-elf

One helluva mess.

Further extended Makefile.global/build/configure so that we can
have a 'template' file for each OS (and each version of OS, as in BSDi)
which is used as much as possible to generate Makefile.global

Any future ports should look at using the template file as a basis,
before moving over to Makefile.global.

This will most probably break alot of the ports, atho I've tried to
be very neat about it...

Install os.h when we install the other headers...

Pointed out by: System Administrator 

More modifications to make building more interactive:

Allow installer to change DEF_PGPORT
Allow installer to disable HBA

Remove code associated with !ACLGROUP_PATCH, and appropriate #ifdef's

Various improvements to reduce questions :)

Remove USE_LOCALE from Makefile.global.in
Add USE_LOCALE to build/configure/config.h

Add check for BUILDRUN in configure to make sure that build is run before
configure

From: "D'Arcy J.M. Cain" 
Subject: [HACKERS] timestamp.c changes

I sent in changes previously and they were rejected because they didn't
follow ANSI spec.  Here is the input part of the changes again.  Even
though it allows more flexibility for inputting different formats, it
is also backwards compatible with the standard version.  I have also
not changed the output format so it will still output the ANSI forms.
Is this acceptable to everyone?

From: Thomas Lockhart 
Subject: [HACKERS] Aggregate function patches

Here are the aggregate function patches I originally sent in last December.
They fix sum() and avg() behavior for ints and floats when NULL values are
involved.

I was waiting to resubmit these until I had a chance to write a v6.0->v6.1
database upgrade script to ensure that existing v6.0 databases which have
not been reloaded for v6.1 do no break with the new aggregate behavior.
These scripts are included below. It's OK with me if someone wants to do
something different with the upgrade strategy, but something like this
was discussed a few weeks ago.

Also, there were a couple of small items which cropped up in doing a clean
install of 970403 (actually 970402 + 970403 changes since the full 970403
tar file appears to be damaged or at least suspect). They are the first
two patches below and can be omitted if desired (although I think they
aren't dangerous :).

removed as already installed as part of system headers on NetBSD/FreeBSD

From: Thomas Lockhart 
Subject: [HACKERS] More date time functions

Here are some additional patches mostly related to the date and time
data types. It includes some type conversion routines to move between
the different date types and some other date manipulation routines such
as date_part(units,datetime).

I noticed Edmund Mergl et al's neat trick for getting function overloading
for builtin functions, so started to use that for the date and time stuff.
Later, if someone figures out how to get function overloading directly
for internal C code, then we can move to that technique.

These patches include documentation updates (don't faint!) for the built-in
man page. Doesn't yet include mention of timestamp, since I don't know
much about it and since it may change a bit to become a _real_ ANSI timestamp
which would include parser support for the declaration syntax (what do you
think, Dan?).

The patches were developed on the 970330 release, but have been rebuilt
off of the 970402 release. The first patch below is to get libpq to compile,
on my Linux box, but is not related to the rest of the patches and you can
choose not to apply that one at this time. Thanks in advance, scrappy!

From: "Martin J. Laubach" 
Subject: [HACKERS] libpq variable set patch

  Just a small change, so the automatic variable setting on
connection startup actually works...

From: "Martin J. Laubach" 
Subject: [HACKERS] Patch: SET var TO 'val'

  Here is a patch that adds a "SET variable TO 'somevalue'" capability
to the parser, and then calls the SetPGVariable() function (which does
just issue a elog(NOTICE) to see whether it works).

  That's the framework for adding timezone/date format/language/...
stuff.

From: Anton de Wet 
Subject: [HACKERS] Small patch to pgtclCmds.c

Hi I have made the following small change to the extensions I made to
pgtclCmds.c quite a while ago.

At the moment there is a -assignbyidx option to pg_result assigning the
returned tuples to an array by using the 1st field of the select statement
as the key to the array.
eg "select name,age from vitalstatistics" will result in an array with

myarray(peter) = 32
myarray(paul)  = 45

Often I need to have a pseudo-multi dimentional
array eg. "select name,age from vitalstatistics where occupation='plummer'

I would like to be able to generate an array
newarray(peter,overpaid) = 32

So to add a arbitrary string to the key value I have extended

  pg_result $res -assignbyidx $arrayname

to have an optional argument

  pg_result $res -assignbyidx $arrayname $appendstr

So that that string is appended to the key value.

From: Oleg Bartunov 
Subject: [HACKERS] locale patches !

Hi there,

here are little patches to get Postgres 6.1 works with locale stuff.
This is a patch against 970402.tar.gz, there are no problem to apply them
by hand to 6.0 release. Collate stuff tested about 1-2 months in real
working database but I'm sure there must be no problem. US hackers
could vote against locale implementation ( locale for sure will affect to
speed of postgres ), so I introduce variable USE_LOCALE which
controls locale stuff. Non-US users now could use ~* operator
for searching and  for strings with nation alphabet.
Please, don't forget, as I did first time, to set environment variable
LC_CTYPE and LC_COLLATE because backend get locale information from them.
I start postmaster from a little script, assuming that shell is Bash shell
it looks like:

#!/bin/sh

export LC_CTYPE=koi8-r
export LC_COLLATE=koi8-r
postmaster -B 1024 -S -D/usr/local/pgsql/data/ -o '-Fe'

New keyword: SEQUENCE.

Manuals for SEQUENCEs.

\h create/drop sequence.

Dumping sequence relations as 'CREATE SEQUENCE ...'.

Call DefineSequence () for T_CreateSeqStmt node.

Can't INSERT/UPDATE/DELETE sequence relation.

CREATE/DROP SEQUENCE ...
Check nextval/currval permission in analyze.c.

Can't COPY TO sequence relation.
Can't inherits from ...

Sequence numbers generators code.

vc_getrels(p, VacRelP) returns NIL for special relations (indices,
sequences,...) and vc_delhilowstats(NULL->vrl_relid) ...

Hack for heap_creat to enable relkind to be 'S' for sequences.

CloseSequences () at xact commit/abort.

New node T_CreateSeqStmt.

New relkind ('S') for sequence relations.
New funcs (nextval & currval) in pg_proc.h

Prototypes for sequence.c

Use $(CC), not gcc, to compile

Pointed out by: [email protected]

Misc port related issues

Slight Linux related bug pointed out by Gabriel Akos 

From: Thomas Lockhart 
Subject: [HACKERS] Small date patches (resubmitted)

Here a some small patches for the date/time code. They set the default
output format for the datetime type to the traditional Postgres
style, and fix a date debugging declaration. I submitted these
a couple of days ago, but they might have gotten lost...

NOTE: the second patch to dt.c is what I believe D'Arcy submitted as well,
      that I claimed was taken out...sorry D'Arcy, my fault :(

From: Thomas Lockhart 
Subject: Re: [HACKERS] abstime "now" broken

Yes, I broke 'now' :( with an attempt at a bug fix involving
servers running in the UTC/GMT timezone. These patches fix
the problem, and have been tested in GMT (+00 hours),
PST (-08), and NZT (+12) timezones which exercized the code for
various cases including across day boundaries.  btw, this code
fixes the same type of problem for 'today', 'yesterday', 'tomorrow',
for DATETIME, ABSTIME, DATE and TIME types.

The bugfix itself is quite small, but I have accumulated other
changes in the datetime data type and include them here also.
One set of changes involves printing ISO-formatted dates and
is in response to the helpful information from Kurt Lidl regarding
ANSI SQL dates. I'll send another e-mail sometime soon discussing
more issues he has raised...

From: Dan McGuirk 
Reply-To: [email protected], Dan McGuirk
To: [email protected]
Subject: [HACKERS] tmin writeback optimization

I was doing some profiling of the backend, and noticed that during a certain
benchmark I was running somewhere between 30% and 75% of the backend's CPU
time was being spent in calls to TransactionIdDidCommit() from
HeapTupleSatisfiesNow() or HeapTupleSatisfiesItself() to determine that
changed rows' transactions had in fact been committed even though the rows'
tmin values had not yet been set.

When a query looks at a given row, it needs to figure out whether the
transaction that changed the row has been committed and hence it should pay
attention to the row, or whether on the other hand the transaction is still
in progress or has been aborted and hence the row should be ignored.  If
a tmin value is set, it is known definitively that the row's transaction
has been committed.  However, if tmin is not set, the transaction
referred to in xmin must be looked up in pg_log, and this is what the
backend was spending a lot of time doing during my benchmark.

So, implementing a method suggested by Vadim, I created the following
patch that, the first time a query finds a committed row whose tmin value
is not set, sets it, and marks the buffer where the row is stored as
dirty.  (It works for tmax, too.)  This doesn't result in the boost in
real time performance I was hoping for, however it does decrease backend
CPU usage by up to two-thirds in certain situations, so it could be
rather beneficial in high-concurrency settings.

From: "D'Arcy J.M. Cain" 

#ifdef is looking for the wrong value.

From: "D'Arcy J.M. Cain" 

Some systems require limits.h to define DBL_MIN.

On some systems limits.h is needed to define DBL_MIN.

From: "D'Arcy J.M. Cain" 

Added call to heap_endscan in IndexIsUniqueNoCache - to release
our READ lock on pg_index and let others to create indices too !

turn GEQO code on by default

Remove customize in favor of 'build'

Add ability to change installation directory in build, prior to configure

Add string.h for strerror() prototype

include float.h *after* postgres.h :(

Disallow to create multi-column indices using non-btree.

need float.h under FreeBSD for DBL_MIN

'\h create index' shows that multi-column indices are available now.

Added syntax for multi-column indices.

Someone forgot about 'case sizeof(int32)' for
tupleDesc->attrs[i]->attlen in fastgetiattr.

Add checs for float.h

Remove 'unused variable' from dt.c

Add float.h for DBL_{MIN,MAX} under FreeBSD

another one missed

MIssed adding a file to the repository

From: "D'Arcy J.M. Cain" 
Subject: [HACKERS] backend/utils/adt/timestamp.c

Back to this timezone stuff.  The struct tm has a field (tm_gmtoff) which
is the offset from UTC (GMT is archaic BTW) in seconds.  Is this the
value you are looking for when you use timezone?  Note that this applies
to NetBSD but it does not appear to be in either ANSI C or POSIX.  This
looks like one of those things that is just going to have to be hand
coded for each platform.

Why not just store the values in UTC and use localtime instead of
gmtime when retrieving the value?

Also, you assume the time is returned as a 4 byte integer.  In fact,
there is not even any requirement that time be an integral value.  You
should use time_t here.

The input function seems unduly restrictive.  Somewhere in the sources
there is an input function that allows words for months.  Can't we do
the same here?

There is a standard function, difftime, for subtracting two times.  It
deals with cases where time_t is not integral.  There is, however, a
small performance hit since it returns a double and I don't believe
there is any system currently which uses anything but an integral for
time_t.  Still, this is technically the correct and portable thing to do.

The returns from the various comparisons should probably be a bool.

Various patches for shared libraries under i386-solaris by:

Christoph Kaesling 

Here's two more diffs...

The first fixes a warning from gcc about the assignment within the condition.
The extra set of parens should not make a difference, but with -Werror, they
are necessary.

The second fixes an "ln -s" invocation that assumes the current directory is
implicitly the target if not specified.  Not true in all cases, and again, it
should not make a difference except to those implementation that it does.

From: "Michael P. Snyder" 

Rather than make this a Linux test, we should just test for the existence
of endian.h.  I figure that if it exists it's pretty sure that it has
the byte order information and we may catch some other ports without
any further testing.

From: "D'Arcy J.M. Cain" 

Use $(LD_ADD) from Makefile.global instead of $(LDADD), which doesn't exist...

Pointed out indirectly by D'Arcy

From: Thomas Lockhart 
Subject: [HACKERS] More patches for date/time

I have accumulated several patches to add functionality to the datetime
and timespan data types as well as to fix reported porting bugs on non-BSD
machines. These patches are:

dt.c.patch              - add datetime_part(), fix bugs
dt.h.patch              - add quarter and timezone support, add prototypes
globals.c.patch         - add time and timezone variables
miscadmin.h.patch       - add time and timezone variables
nabstime.c.patch        - add datetime conversion routine
nabstime.h.patch        - add prototypes
pg_operator.h.patch     - add datetime operators, clean up formatting
pg_proc.h.patch         - add datetime functions, reassign conflicting date OIDs
pg_type.h.patch         - add datetime and timespan data types

The dt.c and pg_proc.h patches are fairly large; the latter mostly because I tried
to get some columns for existing entries to line up.

MOre univel port patches/files from:

"Michael P. Snyder" 

Start of a univel port by "Michael P. Snyder" 

Free memory allocated by command in the BlankPortal' HeapMemory context
(#ifdef-ed).

  - Renamed the variable names to something shorter, and I hope
    nicer. Also, I grabbed my copy of the Informix manual, and
    added a couple of variables that make sense (formats for
    money, time, a language setting, a timezone).

  - New functions SetPGVariable() and GetPGVariable() in tcop/*.
    These don't actually do anything for the moment, but should
    be enough to implement the SET var_name TO var_val in the
    parser?

    SetPGVariable() expects just two strings, the var_name and
    the var_value from above, and is expected to do the right thing.
    Returns TRUE if  everything okay.

From: "Martin J. Laubach" 

Add in alpha port

I don't know whether this breaks what the previous person tried to
fix, but figure I"ll know soon enough, eh?

Patch submitted by Dan McGuirk

Needs USE_POSIX_SIGNALS

Pointed out by Dan McGuirk

+ NULLs handling
Actually required by multi-column indices support.
We still don't use btree for 'A is (not) null', but
now btree keep items with NULL attrs using single rule
for placing/finding items on pages:
NULLs greater NOT_NULLs and NULL = NULL.
+ Bulkload code (nbtsort.c) support for multi-column indices
building and NULLs.
+ Fix for btendscan()->pfree(scanopaque) from Chris Dunlop.

New func _bt_checkkeys() added to let caller know number of keys
for which checking was TRUE.

Setting index' attributes attcacheoff to -1 in index_create().

Added #define NullValueRegProcedure and #define NonNullValueRegProcedure -
is in use by btree now.

Forgot to add an AC_SUBST(STRERROR) to configure.in for the strerror() test

Thanks to D'Arcy for pointing this one out

From: "D'Arcy J.M. Cain" 
Subject: [HACKERS] backend/utils/adt/nabstime.c

There is a problem with some of the calls to strftime.  The second arg is
missing.  In all cases the buffer is CTZName which, according to the
file init/globals.c, is char CTZName[8] so I have added this value.
I know there should be a #define set up for this but I wasn't sure
which header to put it in.

change strtok(0.. to strtok(NULL..

From: Keith Parks 

From: "D'Arcy J.M. Cain" 
Subject: [HACKERS] libpq/pqcomm stuff and Solaris byte order

I decided to go ahead with the required changes since no one else seems
to.  I don't guarantee that it is perfect but with these changes the
package actually compiles.  While I was at it I added to the Sparc
Solaris header to define the byte order.  Note that NetBSD sets this
in the system headers so it wasn't required there.

In particular, someone may want to check whether I removed the correct
84 lines from backend/libpq/pqcomprim.c.

Check for and set HAVE_CRYPT_H if  exists

include crypt.h in password.c if crypt.h does exist

use autoconf 2.12 instead of 2.10 to gernate configure script...

*hopefully* will fix the linux configuration problem..?