een parallele batch scheduler in shell

This commit is contained in:
Ward Wouts 2009-01-29 09:03:58 +00:00
parent ef13833b4e
commit c20c39f12d
4 changed files with 327 additions and 0 deletions

34
pbatch/README Normal file
View file

@ -0,0 +1,34 @@
- config file gebruiken
- meerdere parallele batches
- er mogen er X tegelijk draaien
- prioriteiten? mogelijk in de toekomst... mbv jobs naamgeving? prefix H voor high, N voor normal en L voor low
- noodstop
- scheduling door jobs uit directory naar processing dir over te hevelen
- indien failure naar faildir of nogmaals (X keer?)
- wanneer klaar incl resultaten naar done dir
dirs bijv. zo:
jobs
processors/job#/job
processors/job#/rundir
results/job#/job
results/job#/rundir
results/job#/output
failure/job#/job
failure/job#/rundir
failure/job#/output
monitor/processor# symlink naar output current job
processors pollen zelf de jobs dir voor nieuwe taken?
master zorgt voor het draaien van juiste aantal processors
master kan processors een signaal geven dat ze geen nieuwe mogen opstarten
threading?
jobs die input uit een file willen?
iets inbouwen dat jobnummering fijn blijft ook al komen er digits bij:
7 8 9 10
ineens wordt 10 voor 7 gescheduled...