bitbake/
    Update MANIFEST and setup.py to cope with the removal
    of make.py and bbread and add utils.py to the MANIFEST

Shell: grab a deepcopy from the initial cooker data to reuse
it in file**** commands. Otherwise we would pollute
cooker.configuration.data (i.e. do_configure_append() appending
multiple times). This fixes BitBake bug #133

add missing self to find_bbfiles() and get_bbfile()

remove last trace of make.py

This (large) patch reintegrates the bb.make module into the bitbake executable.
Said make module has been factorered out back in the old days when we had two concurrent
oemake implementations which were in need of code sharing. Nowadays, there's no
more use of a seperated make module and in fact the split has always been a bit
artificial.

A brief overview of the changes:
 * create utils.py which contains three unbound functions for comparing versions
 * create a class BBConfiguration that holds variables which were formerly living in make module scope
 * make functions use the BBConfiguration instance that lives in BBCooker instance
 * move functions into the BBCooker class, adapt them to work as class methods
 * integrate the function of the bbread executable into BitBake; use it with option '-e' and (optionally) -b
 * remove make.py
 * remove bbread
 * adapt the shell module which has been using the make module directly

Fix for #88 - written by proti:
The function should be shielded against the posibility that prevdir could be removed by the function.

Patch by Yann Dirson to show a more verbose error log
when not beeing able to parse a file

bitbake Poke Changes:
    make.pkgdata is when used with a CACHE just a holder
    of a list of filenames + the path to the cache.
    Now when poking at files the changes will be lost immediately,
    we now offer a mean to mark a data instance as dirty and we
    will not throw it away in this case...
    setDirty is not meant to be public API

- fix _findProvider() for 'PN-PV'
- add columnize helper function
- outcomment poke function and add warning

bitbake/bin/bitbake:
    -Possible fix for #103 make findBestProvider operate
    on a given, limited pkg_pn (the one we created).

bitbake/lib/bb/build.py:
    -Fix the task_cache as reference assumption as described
     in bug report #60

    Patch courtsey keturn

make the cache also work when you use softlinks to the packages - patch courtesy Holger Schurig

- add 'alias' command to allow shortcuts for commands
- bbshell now processes ~/.bbsh_startup, if existing
All commands valid inside the shell are valid in the startup file.
Don't use | in startup files.

- add 'peek' command: Example Usage: peek nano SRC_URI
- add 'poke' command, outcommented because d.setVar seems not to be persistent

make edit command more consistent:
- 'edit' now accepts a providee
- 'fileedit' now calls $EDITOR on a bbfile

- fix pasteLog and pasteBin failure codepaths. Thanks to keturn for spotting.

- add 'showdata' command
- fix readline in python expert mode
- add some more IDEAS

- add 'getvar' to print out a variable from the outer environment
- 'print' now serves a different purpose, it lists either all bbfiles or all providers
- add '|' to allow the output of commands be piped into grep, sort, and friends: Hint try:
  parse; print files | grep opie
- internal: add debugOut()

BitBake (minor update):
     -Remove data_dict.py as it was not needed for sooo long
     -Remove TODOs related to data_dict.py
     -Remove data_dict from the MANIFEST

Keep all temporary files in proper place not in TMPDIR (patch by Holger Schurig)

bitbake/lib/bb/__init__.py
    -Fix testcase by silenting the ververify error message

- add 'fetch', 'unpack', 'patch', 'configure', 'compile', 'stage'
  which reflect the execution of the respective tasks on providees
- add 'force' to toggle make.options.force
- switch to a more sane context sensitive completion method inspecting the 'usage' attribute

BitBake:
    -Remove old code (python version >= 2.3 check)
    -Remove commented code (as we've a scm)
    -Fix most of the testcases (only one is failing)
      -by importing string
      -by removing new lines
      -by changing '"' to "'"
      -by reodering some elements

collect_bbfiles:
- save progress callback in function attribute
- remain completely silent when no progress callback is requested

OO overhaul:
 - Introduce classes for commands and the command processor
 - Autoregister available commands
 - Fix 'shell' command to work with unlimited number of parameters
 - Remove 'exec' command

- capture bb.parse exception in 'filebuild'
- restore sys.stdout during raw_input, this repairs
tab completion which I broke two revisions ago

add 'shell <command>' which hands a command over to the shell and dumps the output
NOTE: Due to a limitation in the bbshell command processor, 'shell' and 'exec' are
currently broken when using more than one parameter. This will be sorted out asap.

Use socket.gethostname() instead of os.environ["HOST"]. That should work on all systems.

Greatly improve pastebin functionality:
The BitBake shell now features a generic output buffer for the last 10 commands.
You can dump an overview about the buffered commands with 'buffers' and dump
the contents of a buffer with 'buffer <n>'. Likewise, 'pastebin <n>' uploads
the contents of the said buffer. NOTE: 'lasterror' is still available, but has been
renamed to 'lastlog'. The old pastebin command is still available with 'pastelog'.

remove sys.exc_info() hack and instead use the magic .args variable of the exception instance variable

add pastebin command to upload the latest error log (if there is one)

- set magic args attribute for event exception
- remove event property
- submit descriptive error messages when raising event exceptions

build in a try/except block and intercept faulty builds

bitbake/bin/bitdoc:
     -Small utility to generate a Hyper Linked online version
     out of documentation.conf.
     An example can be found here:http://handhelds.org/~zecke/oe_html/

     TODO:
      -Beautify the HTML output (shameless rip off from gtkdoc)
      -Sort the keys
      -Fix and extend OpenEmbedded's documentation.conf to follow the
       simple ruleset
     KEY[doc] = "This is the description. It can go on \
     @see MOO_RELATED, FOO_DOO, GRUFT, BLUR, TOCOTRONIC @group rock, POP \
     NewWave"

     It will extract the description, related keys (everything after @see
     separated by ',') and the groups this key is in. This simple rules
     should and could bring us forward.

catch build exceptions also when building just one file

bitbake/bin/bitbake:
   Rework handling of pkg_pn. I still wonder if we should
   set pkg_pn[pn] at all in this method.

   Patch courtsey proti

use cooker.findBestProvider() for the 'which' command

bitbake/bin/bitbake:
Create a common method to get the preferred version
given a package name.
This patch was done by proti (seb BEI frankengul.org)
and made work by myself. The list in list logic does not
seem 'obvious' and I need to consider how to kill it.
(when I understand what the file_set should represent)

calculate absolute path when parsing a bitbake file. this fixes -b with
relative paths

fix stupid typo. this repairs bitbake -f

add ; as command seperator
unify error messages
add new <directory> <bbfile> command

add some more things to TODO

- fix bug in file*** commands (need to clean the _task_cache per
  package)
- add fileRebuild (clean and rebuild a .bbfile)

remove accidantly commited debug line

major update:
- improve registerCommand
- build, clean, and rebuild no longer work on providees or bbfiles, but just on providees
- filebuild, fileclean and filerebuild work on bbfiles
- add which 'providee'

misc. refactoring bits for bin/bitbake:
 - remove executeOneBB
 - add tryBuildPackage
 - add more docstrings
 - less abbrevations
 - s/buildPackage/buildProvider/

bitbake/lib/bb/*:
include 'time' into the scope. For bitbake 1.3.1 we need
to define which modules will be visible when executing
embedded python methods

bitbake/bin/bitbake:
update_data() of make.cfg after we've parsed the
each and every bitbake file.
Call me paranoid but this way we make sure that changes
made in the bb files are actually taken...

- add command specific tab completion
- add expert mode - an embedded python interpreter
- add exec command

bitbake:
-Prepare the 1.3.0 release of bitbake

some fixes

catch parse error in parseConfigurationFile()

add bbfile completion

- remove checking for return if parse-only is set when executing just one BB
- don't sys.exit() for parse-only, but return. This makes dropping into the Python interactive mode possible.

have bb.parse.handle() throw ParseError if the input file is not
understood by any handler, rather than quietly returning None

- add more commands: edit, clean, rebuild.
- load command history on startup
- save command history on exit
Bug: A bug can be seen when you call rebuild on a package more than once -
somehow the make module no longer calls the tasks then.

call update_data right after parsing the conf files

Python 2.3.x compatibility fix

add first (preview) version of the bitbake interactive mode

bitbake: factor out methods parseConfigurationFile() and handleCollections()

tolerate ${...} in function names

Mickey's style and performance tunings, volume I:
 * substitute 'if dictionary.has_key( key )' with 'if key in dictionary'
It's faster, more understandable and looks much better

update data to make _append's etc. appear. patch courtesy BB-Meister
Zecke

bitbake/MANIFEST:
-Include data_smart.py in the MANIFEST

bitbake/lib/bb module:
Bump the version number to be different from the
last version

bitbake/TODO:
-Not much is done yet but at least fake that we've done
something

Slight OO refactoring of BitBake command line utility in order to
prepare for the BitBake shell which will need to have instance based
variables as opposed to module global ones.

Sorry, this diff is larger than it should be, but I had to reorder
methods and change indenting all over the place. What I basically did
is:

 1.) Add a class managing the statistics values: BBStatistics
 2.) Add a class managing the build process: BBCooker
 3.) Refactor all unbound methods into the BBCooker class
 4.) Refactor all module global values into the BBCooker class
 5.) Adjust function calls and accesses of the module global values
accordingly

The shell module itself is under construction and will be uploaded asap.

bitbake/bin/bitbake:
-Drastically increase the amount of needed RAM to the
 unbelievable amount of 12MB when parsing ~2320 bb files.
-Start creating the provider hash and other lists/dictionaries
         from the progressCallback. A BBStatusProgress struct was added
 to accumulate the data to be used in the buildPackage, showVersions
 and similiar methods.
         This makes it possible to kill the long delay and also building the
         provider hash completely.
 Only for building and checking if a package was built (has stamps) it
         is necessary to get the data instace from make.pkgdata.

bitbake/ChangeLog:
-Mention changes in bitbake since the 1.2.1 release

bitbake/lib/bb/make.py:
        Pass more data to the parsing progressCallBack.
        We will soon use this data to eliminate the long
        delay before building.

bitbake/bin/bitbake:
        Just change the signature of the callback method for now.
        We will soon keep the 'parsing status' in a instance
        we will fill while parsing and only evaluate in build_depgraph

bitbake/lib/bb/data_smart.py:
        -Do a deepcopy of the parent for the persistent
         data storage constructor.
        -Store the dict as _data member and not the instance
        -Operate on the dict in the methods instead of the
         DataSmart instances...

        Happy deletion of the cache

bitbake/lib/bb/fetch.py:
-be less anoying and only print debug messages when
d is none

bitbake/lib/bb/fetch.py:
-Warn when init is called without a data instance, we're not able to reorder
 them as it would break bitbake <= 1.2.1 and OpenEmbedded

bitbake/lib/bb/parse/BBHandler.py:
-Do not call fetch.init without a data instance. This changes the AtiCore
 problem the OE folks are seeing a bit...

bitbake/lib/bb/data.py:
-Don't be too keen finding a bug in expand when there is None...
 Fix the testcase to delete {TARGET_MOO} first.

bitbake/lib/bb/data.py:
-Write an expand test case that actually shows a bug I need to fix

bitbake/lib/bb/data.py:
       -Add two test cases to the expand method. The behaviour
        was not tested before.

bitbake/lib/bb/data.py:
        -We've killed the default arguments in the methods
         now the tests were updatet to initialize a data
         instance to work again.

bitbake/lib/bb/data_dict.py:
-Fix one bug in the unused data_dict.py. There is still one
         left... again cookies for the one finding it

bitbake/TODO:
Add basics tasks I want to see finished

bitbake/lib/bb/data_smart.py:
        Return only the mtime from the os.stat syscall

bitbake/lib/bb/data_dict.py:
        Return only the mtime from the os.stat syscall

tbake/lib/bb/fetch.py:
        Stop sf.net from bull?#*... us. We will fail when we wanted to
        download a file and got something with a different name.
This should solve sf.net related problems as we go immediately to
the next mirror and it should work for all other packages as well.

bitbake/lib/bb/fetch.py
Try to partially apply
http://wiki.python.org/moin/PythonSpeed/PerformanceTips?highlight=%28performance%29#dots avoid
finding data in bb

Change the bb.__version__ to 1.2.1, and adjust setup.py to actually import the bb module to obtain the version it uses.

bitbake/bin/bitbake:
Update the version to 1.2.1 (now a string)

add missing copyright and fix __ignored_dependencies scoping problem

lib/bb/data.py:
Use the new data_smart dictionary

lib/bb/data_smart.py:
The old COW Implementation, made persistent and pass
the test suite.
I commit it because the persistent mode in data_dict.py seems
broken and I don't want to leave you with a broken bitbake.

Todo:
  -do a deepcopy on the parent. When we pickle we use sharing
         anyway and it is pretty obvious we will pickle as we're the
 persistent implementation.

lib/bb/data.py:
-Remove default arguments from the data methods. They
cast errors.
(we need to update the test case though)

lib/bb/parse/ConfHandler.py:
-Use the right dictionary

bin/bitbake:
-Access pkgdata[] less. This means unpickling the data less often.
This results in a faster initial parsing. We still access each
file three times though

lib/bb/data.py:
-Provide a special 'collection/dict' for the collected
 bb-files. If we use a persistent storage (CACHE) we will
 not hold any data instance in memory but load it from disk
 on demand.
 This reduces bitbakes memory usage to roughly 40MB. The initial
 parsing currently takes roughly thirty seconds more.

lib/bb/make.py:
-Use the new data implementation for pkgdata.
-Do not access pkgdata[f] if we've the data already
 in our hands

add authors file

lib/bb/data.py:
·       -Add a method to get the modify time of named bb.data instance
·       -Add a method to create a named bb.data instance. These instances
·       inherit the global configuration.

lib/bb/data_dict.py:
·       -Add persistents to the data_dict implementation, on the commit
method we will now pickle the internal dict

lib/bb/make.py:
-Use the new persistent/named bb.data methods.

lib/bb/build.py:
Do not assume we hold a reference to the variable
we got with a bb.data.getVar*. Always set changes
back to the variable.

Add a ChangeLog to lay out the 'API' changes of bitbake

lib/bb/fetch.py:
  * Remove default params from the fetcher methods to avoid problems
    with scoping. The meaning of 'd' is quite overloaded and we try
    to undo it one by one. This change is a bit more invasive than
    I had hoped for but it is needed.

 -- Holger Hans Peter Freyther <freyther@handhelds.org>

Add data_dict.py to the MANIFEST

createCopy:
-Move a createCopy method into data.py
-Make code creating deepcopies of the data instance
use this new createCopy

bitbake data module abstraction:
-bb.data is now a delegate to hookable Data implementation.
-bb.data.init() is the 'factory' method to create a instance
of a concrete implementation.
-Kill assumptions that bb.data.init() returns a {} (python dict)
-Add the old Dictionary Based Implementation as data_dict.py

Adjust the version in setup.py.

Evaluate dependencies in try_build(), even if stamp file is up to date for the current package.

bin/bitbake:
    * check if a package's task is already complete _before_
      calling the functions to try to build it.
    * don't bother trying to build a package's deps if the package has
      already been built.
    * cache the information about the 'perhaps you should define
      PREFERRED_PROVIDER_blah' messages so that the user only sees one
      for each provider.