Samenvatting

Dit project gaat over het ontwikkelen van een software omgeving voor software distributie in de cloud. Dit project is uitgevoerd in opdracht van 3Di-waterbeheer en de werkzaamheden zijn op de TUDelft verricht.
3Di waterbeheer werkt aan het verbeteren van overstromingssimulaties. Hiervoor hebben ze een zeer gedetailleerde 3D kaart van Nederland in gebruik genomen, de AHN2 kaart. Om specialisten te helpen bij het visualiseren van de data is de TUDelft bezig met het maken van een visualisatie programma. Om de data te kunnen visualiseren is het echter wel nodig om een aantal bewerkingen op de AHN2 kaart te doen.
Deze bewerkingen zijn zeer tijdsintensief en het is daarom lastig om deze op de eigen hardware van de TUDelft uit te voeren omdat dit de mensen hier hindert. Hierom is het de bedoeling dat dit naar de cloud verplaatst wordt. De cloud die hiervoor gebruikt is, is de HPC Cloud van SARA.
Er is een uitgebreid vooronderzoek gedaan naar de werking van de cloud en de randsystemen en ook is er een analyse gemaakt van het originele systeem. Het originele systeem bleek erg ine
ci ent te zijn indien er meerdere processoren gebruikt werden. Dit kwam door de constructie van deze code. Er zijn een vijftal ontwikkel incrementen gemaakt om alles werkend te krijgen. Als eerst zijn de virtuele machines aangemaakt die op de cloud draaien om met de cloud te kunnen werken.
De cloud is aan te sturen van binnenuit met XML-RPC en van buitenaf met OCCI. Hiermee is het mogelijk om VMs te starten en te stoppen in een script. Celery wordt gebruikt voor het distribueren van de taken over de verschillende VMs op de cloud. Nadat de eerste stap van het distribueren gezet was bleek dat er een grote verbetering gehaald was in de bezetting van de gebruikte processoren.
Ook is er gewerkt aan het afsluiten van de VMs zodat deze op een tijdig moment stoppen en niet onnodig lang aan blijven staan. Het uiteindelijke product is met succes gebruikt voor het voorbewerken van data op de HPC Cloud van SARA. Om het echt in de praktijk te kunnen gebruiken zal er echter een nieuw project gestart moeten worden om dit te verplaatsen naar een de nitieve oplossing zoals de cloud van Amazon.