Release bitbake 1.6.8

Update ChangeLog for 1.7.x changes, cleanup TODO

bitbake-1.6: Make a commit to test my notify chain (we cache deps the right way)

Another try: Release BitBake 1.6.6 with updated MANIFEST

Add more files to our MANIFEST. It looks complete enoug now

branches/bitbake-1.6: Update the MANIFEST after the messed up 1.6.4 release

Fix the manifest: Do not reference non existing files

Tag bitbake-1.6.4 and bump version numbers

Lazy addition of the ChangeLog entry. Done with a quick scan through the svn log

svn fetcher: add two backport patches from OE #829

- allow to use 'srcdate' param in SRC_URI lines (from trunk)
- do not use SRCDATE in archive names when REV is provided (from trunk)

svn fetcher: use 'svn update' to update sources  - close OE#1367

For first fetch we use 'svn checkout' but for next updates we need to use
'svn update' to fetch only changes.

Patch written by Paul Sokolovsky.

fetch/svn.py: use username/password when provided in SRC_URI - close OE#1781

- subversion will still ask if self-signed SSL certificate will be used.
- patch looks very intrusive but some of changes were needed to be done
  to get it working properly:

  svncmd = "svn co -r {%s} %s://%s/%s" % (date, proto, svnroot, module)

  and next (now removed) lines makes BitBake ignore SVNCOOPTS which now
  provide username, password and revision in similar way to trunk version.

Remove the first attempt to integrate Marc's flex/lemon (like in trunk)

Remove the first C implementation. I'm too lazy to create proper license
headers for what will be replaced with the bitbake-parser code soon(tm).

build.py: revert setting LC_ALL=C due to IRC discussion

lib/bb/build.py: Put LC_ALL=C on os.system call
For our french and strange friends place LC_ALL=C in all task calls.
This should give us english log messages.

Add proper GPLv2 headers to all BitBake files (from trunk)
- BitBake trunk is now GPLv2 only, no mix of MIT, FreeBSD License is left.
- Update GPL headers to point to the correct address of the FSF
- Update the list of authors. Uli Luckas, Seb Frankengul and Tim Amsell
  contributed to the sourcecode as well

usermanual: fix typo (from trunk)

Make cvs_port a string and an empty one as well. This should fix the concatination error koen was seeing and describing in #1753

CVS Fetcher: Added support for non-default port (needed for rxvt-unicode in OE).

svn.py: updated (C) to me

updated list of authors (from trunk)

added manpage from trunk

drop shebangs from lib/bb scripts (from trunk)
- those scripts are not called by hand by bitbake users
 and most of package linting tools (lintian/Debian, rpmlint/Fedora)
 complain about not executable scripts.
- if someone want to run them by hand then he will be able to do it
 with calling 'python SCRIPT'

setup.py: use FHS compatible directories (from trunk)

bitbake-1.6 data.py: Backport emit_var fixes and add unexport flag support

bin/bitbake: Fix findBestProvider parameters (close #1715)

BitBake: Tag 1.6.2 and 1.7.2 of BitBake

Add missing Changelog entry

Add some missing entries to the Changelog

build.py: Add support for the interact flag, backported from trunk

bitbake-1.6: Allow version field in DEPENDS (ignored for now)

bitbake-1.6/lib/bb/shell.py: import bb to fix bb.providers references

Remove a debug statement that crept in

BitBake: Bump and add Versions 1.4.5 and 1.6.1

trunk/bitbake/bin/bitbake:
 * Fix up getRuntimeProviders calls in previous commit

trunk/bitbake/lib/bb/providers.py:
trunk/bitbake/bin/bitbake:
  * Move getProvidersRun -> bb.providers.getRuntimeProviders
  * Make filterProviders build_cache_fail parameter optional, pending
    rethink/removal
  * Add NoProvider exception

trunk/bitbake/bin/bitbake:
  * fix references to findBestProvider (closes #1288)

trunk/bitbake/bin/bitbake:
  * Add some variables to the data cache
  * Move self.preferred into the same place as other similar cache data
trunk/bitbake/lib/bb/cache.py:
  * Bump cache version number

trunk/bitbake/lib/bb/build.py:
  * Add version of stamp_is_current that works with cached data
  * Tweak mkstamp to work over broken? NFS filesystems (simply opening
    the file for write access wasn't enough to change the file's timestamp)
  * Have add_task create _task_deps variable containing various task flags
    for cache use

 r420@snorf:  ich | 2006-07-25 21:29:45 +0200
 Tabs -> Space
 r421@snorf:  ich | 2006-07-25 21:45:00 +0200
 lib/bb/parser/parse_c: Check if we parse a configuration file
     Check if we parse a configuration file and if we parse a config
     file and see illegal constructs like methods we will throw
     and parse error.
 r422@snorf:  ich | 2006-07-25 21:48:05 +0200
 lib/bb/parse/parse_c: Make sure to return 0 if we return -1 in some branch
 r423@snorf:  ich | 2006-07-25 22:21:06 +0200
 lib/bb/parse/parse_c: Modify BBPATH, handle inherits

     Add BBPATH to the dirname of the current fn. Handle INHERITS
     and include these files.
 r424@snorf:  ich | 2006-07-25 22:22:50 +0200
 lib/bb/parse/parse_c: Handle IOErrors on inheriting INHERITS

 bitbake/doc/manual: Do not mention rdepends.dot

lib/bb/parse/parse_c: Throw Parse Exceptions, crash less often

    -Make sure TOPDIR is set (do not declare this as an error here)
    -Do not crash on 'NULL' strings
    -Throws exceptions properly using 'except -1' from within our
     cdef.

lib/bb/parse/parser_c: Handle includes, requires, cope with our syntax

    -be able to parse variables like PREFERRED_PROVIDER_virtual/kernel
    -handle includes and requires, add 's' to %(fn)
    -be less verbose

bitbake/lib/parser/parse_c: Avoid some segfaults

msg needs to import sys, it calls it

Testing CIA notification, again.

Testing CIA notification.

switch pastebin provider to http://rafb.net/paste
patch courtesy Zwelch

Contrib: update the Vim syntax highlighting to include the 'require' keyword and '.=' and '=.'.  Add a Vim ftdetect plugin to properly set the filetype on bitbake files.

bitbake c parser: first steps torwards a working parser

bitbake/lib/bb/__init__.py:
bitbake/lib/bb/build.py:
bitbake/lib/bb/utils.py:
bitbake/lib/bb/shell.py:
bitbake/lib/bb/providers.py:
bitbake/lib/bb/msg.py:
bitbake/bin/bitbake:
bitbake/bin/bitdoc:
bitbake/classes/base.bbclass:
Start an overhaul of the message handling in bitbake:
- Introduce a new msg module to replace the existing simple calls.
- The msg module adds the conncept of message domains so ultimately we can
  select which kinds of debug messages we want to see (it uses an Enum class
  for this)
- Add a warn logging level for things the user should really pay attention to
  as note is a little overloaded at present
- Start converting to use the new fuctions

lib/bb/build.py: fix for 1017, try to change back to the prevdir

    In the case of rm_work.bbclass we might have deleted the
    directory where we come from. Do not fail to avoid
    the issues described in #1017

bitbake/lib/bb/build.py:
- Remove some stale inactive code

bitbake/lib/bb/providers.py:
bitbake/lib/bb/__init__.py:
bitbake/lib/bb/shell.py:
bitbake/bin/bitbake:
* Move providers functions into their own file. The arguments are horrible
  at present but we have to start somewhere with the cleanup and refactoring.

lib/bb/fetch/git.py: Add some commands to clean up the git directories to make things faster and use less space

bitbake/lib/bb/fetch/*:  Implement special 'now' handling for BitBake
    Patch courtsey Justin Patrin to teach BitBake SRCDATE="now" handling.
    If SRCDATE is set to now we will not look at the temporary DL_DIR
    for a saved tarball as we want to download a new version. OpenEmbedded
    should consider stamping the do fetch phase.

    Justin thanks for the patch and sorry for all the trouble

bitbake/doc/manual/usermanual.xml: Document the 'now' method for svn,svk and cvs

bitbake/doc/manual/usermanual.xml: Use version 2.5 of the license

    The CreateCommons license is now at version 2.5. The spirit
    remains unchanged.

 bitbake/bin/bitbake: DOT code cleanup
     Really use myFilterProvider which will take care
     of the PREFERRED_PROVIDER, and add documentation
     to the code.

 bitbake/bin/bitbake: Add code to handle RDEPENDS

     Add code to handle the RDEPENDS. We use getRunProviders
     and the rundeps variable of BBParsingStatus to get the
     providers, similiar to addRunDeps.
     The graph is now not looking too bad.

 bitbake/bin/bitbake: We need to look at seen_depends everytime and can't filter

     Due the recursion we need to reevualate seen_depends everytime.
     Move the variables/files down to the actual call...

 bitbake/bin/bitbake: Add first version of mixed dependency handling

     First version of showing DEPENDS and RDEPENDS in the same graph.
     The is one issue that some provider get handled twice and we
     see two arrows.

 bitbake/bin/bitbake: Kill the generation of the RDEPENDS for

     RDEPENDS needs different handling than DEPENDS. Looking
     in providers is not enough most of the times.

 bitbake/bin/bitbake: Kill whitespace

 bitbake/bin/bitbake: CLI help updates, DOT generatin emits version
     Emit the Version of the provider in the node as well. Create
     a myFilterProvider to take PREFERRED_PROVIDER into account.

 doc/manual/usermanual.xml: Add some Bla about using the -g option

     Start documenting the -g option... well start with it. Hopefully
     someone else will document it.

 doc/manual/usermanual.xml: Simplify the sentence

 doc/manual/usermanual.xml: Fix the EventHandler example

     The python method needs a closing brace. Add the
     missing one.

 fetcher module:
     Add ParameterError as Exception from bug report #72

 bitbake/lib/bb/shell.py:
     -Rename last trace of pastebin.com to oe.pastebin.com
      (which was in a comment any way)

 bitbake/lib/bb/data.py:
     Add another testcase regarding createCopy
     and update_data

bitbake/bin/bitbake: Add option to ignore dependencies on graph

If your dependency graph should not show specific
depends, e.g. the virtual/libc, quilt-native depends
use -I virtual/libc -I quilt-native to do so.

bitbake/bin/bitbake: Make sure we add all handlers from INHERIT

    The code had the assumption that at least one .inc
    file was included (always included). This is not true
    in the NSLu2 case. The code now makes sure we load each
    bbclass we have in the INHERIT line either directly or
    indirectly. And then we can safely add all event handlers.

    Todo: Add HANDLERS += to only load the HANDLERS and not
    all classes.

bitbake/bin/bitbake: Generate DOT depedency start
Add option -g to generate graphs for
DEPENDS and RDEPENDS. Currently these
are emitted in two different files for now.

For the future:
-Add option to stop at level X
-Emit both DEPENDS and RDEPENDS into
 the same graph...

bitbake/lib/bb/shell.py:
    No need to use imp on bin/bitbake

bitbake/bin/bitbake:
    BBConfiguration do not initialise the
    configuration twice

    Save a copy of th configuration data and update
    it.

bitbake/lib/bb/cache.py:
    -Do not use the cooker directly in load_bbfile
    -do not set TOPDIR etc. This should be set
     by parse.init()

bitbake/lib/bb/data_smart.py: Double OVERRIDE expansion fix

    INITSCRIPT_PARAMS_${PN}_slugos. We will expandKeys
    and end up with INITSCRIPT_PARAMS_busybox_slugos
    then (we have slugos in OVERRIDES) and we get
    INITSCRIPT_PARAMS_busybox. Now adding busybox to OVERRIDES
    and nothing changed. The reason is simple. The update_data
    code is using __getitem__ and __setitem__ to access
    the data object. This method does not pay the cookie
    monster. This is why we don't know that for the OVERRIDE
    busybox INITSCRIPT_PARAMS is available. We now pay the
    cookie monster and it looks better

bitbake/bin/bitbake:
- Make the update_data for buildDepGraph act on a copy of self.configuration.data
  fixing certain dependency errors.

bitbake/lib/bb/shell.py:
    -Make it work, mickeyl please remove old
        code ;)

lib/bb/fetch/cvs.py:
lib/bb/fetch/__init__.py:
lib/bb/fetch/svn.py:
- Move the DL_DIR check into try_mirror since every fetcher will do this.
  (git fetcher already assumes this check is made)

fetch/__init__.py:
- Allow multiple entries in tarball stash and iterate through them

bb/data_smart.py:
- Doesn't need pickle anymore so don't import it

lib/bb/fetch/git.py:
- git clone now makes a checkout by default. Disable this.

lib/bb/cache.py:
        - Check the directory exists before chdir. Catches the parsing error
          instead of crashing bitbake.

 bitbake/lib/bb/data_smart.py:
     Remove my broken COW version, use mithros COW module
     instead. Make it 'work' with the code

 bitbake/lib/bb/data.py:
     Update to use the iter protocol again and has_key

 bitbake/lib/bb/parse/__init__.py:
     Bug 895. __depends is a single string with "filename@time" the
     string gets splitted by ' ' as it is assumed that
     "filename@time filename2@time2" is true. Basicly on PPC/Darwin
     we have "PowerPC Macintosh.conf" splitting by space leads to the
     error observed by koen.
     Resolution:
         As we use __depends only as a list, save it as a list. This
         avoids the int->str->int, and split, append, join operations.

 bitbake/lib/bb/cache.py:
     __depends is now a list, change the version of the cache and
     simplify the method.

bitbake.conf: force CVSROOT during cvs update

bitbake/lib/bb/parse/parse_c/bitbakec.pyx:
-Add missing argument to the getVar
 call. (messing with mithros code)

bitbake/lib/bb/cache.py:
    -Do not 'crash'/fail when cachedir is None.
     If it is none os.path.join would fail
    -Also check if we have a cache only once.
    -Potential Backport Candidate

Delete now works. Other cleanup and fixes.

Degrades to copy on mutable types - Cheap is the mutable types are already COW.

bitbake/bin/bitbake:
    This is a unstable BitBake version. Warn the
    users about it... or annoy them enough to switch
    to the stable branch.

shell: reparsing no longer checks whether it came from cache or not
shell: use our private pastebin: oe.pastebin.com

COW example...

bitbake/lib/bb/data_smart.py:
    -Avoid issues with the assignment. Make sure
     we assign special to special and seen to
     seen.

bitbake/lib/bb:
    Make the Cookie Monster Dict a METACLASS? To
    exploit automatically the COW features...
    Small performance analysis is showing that this
    is saving some time (and memory as well)

bitbake versions:
-Make trunk 1.5.0 which will go to 1.6.0
-The stable branch is now 1.4.1 which will
 be 1.4.2 on release

bitbake/
    Merge -453 to HEAD into the trunk from the branch

bin/bitbake:
    Add hack to register even handlers seen by the configuration
    file. We assume that we included at least one .inc file so
    INHERITS += got used.
    We should add a HANDLERS variable which will be responsible
    for installing the handlers

bitbake/lib/bb/cache.py:
* When clearing stale cache entries, clear depends_cache as well as
  the clean list.