Samenvatting

De hoofdvraag van dit onderzoek is opgesteld als volgt: “Hoe kan YourSurprise er zeker van zijn dat de belangrijkste prestatie-indicatoren van een nieuwe versie niet achteruitgaan bij automatische deployment?”. De hoofdvraag is opgedeeld in twee deelvragen die eerst worden beantwoord.
De eerste deelvraag luidt: “Welke metrics zijn beschikbaar en relevant om de kwaliteit van een canary versie te bepalen?” De te onderzoeken metrics zijn opgehaald door middel van meerdere elicitatiemethodes. Deze metrics zijn vervolgens in de testopstelling geïmplementeerd en hierin getoetst op betrouwbaarheid om de kwaliteit van een nieuwe versie te bepalen. De bevindingen zijn verwerkt naar een adviesrapport dat vervolgens gedeeld is met de organisatie.

In dit adviesrapport is advies uitgebracht vanuit de onderzoeksresultaten. Er worden twee categorieën metrics geïdentificeerd. Vervolgens wordt geadviseerd hoe ieder van deze categorieën in te zetten is bij een implementatie van canary releases. Ook staan overige wensen genoteerd die buiten de scope van dit onderzoek vielen, maar wel bij de elicitatiefase gevonden zijn.
De tweede deelvraag luidt: “Welke techniek kan ingezet worden om canary releases te beheren?”. Er is onderzoek gedaan naar verschillende technologieën die de mogelijkheid bieden om canary releases te beheren. Vele opties zijn onderzocht, maar bijna alle opties zijn bij nader onderzoek weggevallen doordat de technologie niet doet wat hunt marketing belooft. Daardoor zijn slechts Flagger en Argo Rollouts vergeleken op een aantal factoren die relevant zijn voor het opzetten van een testopstelling voor dit onderzoek. Er waren geen specifieke eisen gesteld vanuit YourSurprise. Een implementatie is, vanwege betere mogelijkheden tot controle van het prooces, opgezet met Argo Rollouts.
Een antwoord op de hoofdvraag kan nu geformuleerd worden vanuit de deelconclusies. Er is gekeken naar de mogelijkheden om bij automatische deployment, met een klein deel van de gebruikers, de kwaliteit van een nieuwe release te valideren.
Hiervoor zijn gewenste prestatie-indicatoren in de vorm van metrics in kaart gebracht. Vervolgens zijn deze in een testomgeving getest. YourSurprise heeft in haar huidige situatie een schaalgrootte waarop vele gewenste metrics sterk beïnvloed worden door ruis of externe factoren. De gevonden stabiele metrics kunnen door YourSurprise ingezet worden om met zekerheid de kwaliteit van een nieuwe applicatieversie te bepalen. De metrics die sterk door ruis of externe factoren beïnvloed worden, kunnen enkel ingezet worden om enorme kwaliteitsveranderingen te detecteren.

Door canary releases in te zetten voor nieuwe releases van de webshop kan YourSurprise voor een aantal stabiele metrics verzekeren dat deze metrics niet achteruit gaan. Voor overige kwaliteitsindicatoren kan vanwege de schaalgrootte van YourSurprise slechts op een buitengewoon afwijkende waarde getoetst worden.