ISTQB Foundation Agile Tester Extension tips & tricks

Uitbreiding

Eén van mijn voornemens is om me op professioneel vlak meer toe te leggen op agile methodes en processen aangezien veel bedrijven aan het overstappen zijn, al overgestapt zijn of de intentie hebben om over te stappen. Ik zie echter dat diezelfde bedrijven worstelen met de grondbeginselen van agile aangezien dit een andere mentaliteit vraagt van zowel het bedrijf qua cultuur, maar ook de mensen die ermee werken. Een logische opstap is voor mij het ISTQB Foundation Agile Tester Extension certificaat gezien mijn achtergrond. Uiteindelijk behaalde ik een onverwachte 33 op 40 terwijl het examen toch moeilijker was dan ik dacht. 

Dit certificaat is ingericht door het International Software Testing Qualifications Board (ISTQB) als een zogenaamde extension van Foundation certificaat. Dit betekent dus dat je het Foundation certificaat moet hebben om het examen te mogen afleggen. Het veronderstelt ook dat je kennis hebt van de materie uit het Foundation examen zoals test design techniques. Hoewel de structuur van het Agile Tester examen min of meer hetzelfde is als het Foundation examen, is Agile Tester toch een stukje moeilijker dan het Foundation examen. Dit komt in de eerste plaats door de zogenaamde K-levels. Deze levels bepalen de moeilijkheid van een vraag. K1 test of je een definitie kan herinneren, bij K2 moet je vergelijken en bij K3 moet je iets toepassen. Bij het Foundation examen bestaat vijftig procent van de vragen uit K1. Bij het Agile Tester examen is de verdeling als volgt: 20% van de vragen zijn niveau K1, 55% van de vragen zijn niveau K2 en de overige 25% zijn vragen van het niveau K3. Het Agile Tester examen vraagt dus meer redeneringsvermogen dan het Foundation examen dat voornamelijk gestoeld is op herinneren. 

Tips & tricks

Het Agile Tester Extension bestaat sinds juni 2014 en inmiddels zijn er al enkele bedrijven die een opleiding aanbieden zoals Improve Quality Services en Polteq. Ik gaf echter de voorkeur aan zelfstudie en ik heb de syllabus genomen als studiemateriaal aangevuld met een oefenexamen dat je ook op de site van ISTQB kan terugvinden. Hoewel dit in principe voldoende is om te slagen, is het gemakkelijk om je te mispakken aan de soort vragen die worden gesteld. De syllabus bestaat namelijk uit ruim veertig pagina's droge tekst, terwijl de nadruk van het examen wordt gelegd op toepassing en vergelijking. Zaken die je dus niet in de syllabus terugvindt. 

Een mooi voorbeeld hiervan is de uitleg over een burndown chart. In de syllabus wordt de burndown chart gedefinieerd als: "A burndown chart represents amount of work to be done against time allocated to release or iteration". De vraag die ik echter op het examen kreeg ging over een RBC (release burndown chart) en IBC (Iterative Burndown Chart) waar de x-as wordt uitgedrukt in tijd en de y-as in werkvooruitgang (bv. storypoints). Je krijgt dan vier opties gepresenteerd die iets over de x-as en y-as zeggen en je hebt de neiging om de vraag over te slaan omdat die zo moeilijk lijkt. Er is echter één antwoord dat hier niks mee te maken heeft. Het zegt dat de IBC een opwaartse trend heeft als er meer werk bijkomt dan dat er werk wordt gerealiseerd. Een verrassend simpel juist antwoord op een vraag die zo moeilijk lijkt. Daarom volgt er een lijstje van tips & tricks dat het leven wat gemakkelijker maken als je het Agile Tester Extension certificaat wil behalen in zelfstudie. 

• Tijdsuitbreiding: Je hebt de mogelijkheid om een kwartier extra tijd aan te vragen voor het examen (dus 75 in plaats van 60 minuten) als Engels niet je moedertaal is. Hoewel het examen zeker in een uur kan worden afgerond, geeft dit kwartier extra je meer tijd om antwoorden te reviewen waarvan je niet zeker bent en dat kunnen er meer zijn dan je denkt!
• Herinner de test design techniques: In het examen staat er altijd één vraag over test design techniques zoals state transitioning, boundary value analysis, equivalence partitioning, enzovoort. Het is een kleine moeite om deze technieken te herhalen (herkennen is genoeg, je moet ze niet kunnen toepassen) en zo één gegarandeerd punt te behalen.
• Leer enkele zaken van buiten: Wanneer je enkele dingen van buiten leert, is het gemakkelijk om enkele punten te pakken. Het gaat hier om concepten zoals het agile manifesto, welke testactiviteiten je doet in een release of iteration planning, test pyramid en testing quadrants. Je krijgt bijvoorbeeld één vraag over de definities van Scrum, XP en Kanban, terwijl een andere vraag gaat over welke testing quadrants je moet toepassen bij welke test (bv. usability bij Q3). 
• Herinner de principes van het agile manifesto: Soms krijg je vragen voorgeschoteld waarbij meerdere opties of zelfs alle opties correct lijken te zijn. In dergelijke gevallen is het goed om terug te denken aan de agile principes zoals working software als middel om aan te tonen dat een product klaar is voor gebruik. 
• Pak het meest herkenbare antwoord: Je krijgt een aantal vragen over welk antwoord is most likely of least likely. Dit zijn de moeilijkste vragen omdat alle antwoorden juist lijken te zijn. Meestal is er één antwoord dat min of meer overeenkomt met de tekst uit de syllabus en meer dan waarschijnlijk is dit het correcte antwoord. 
• Herhaal, maar niet te veel. Wanneer ik aan m'n zelfstudie begon, heb ik in Excel een samenvatting gemaakt van de syllabus waarin alles staat. Dit is een goede eerste manier om te leerstof in te oefenen, maar dit lezen en blijven lezen heeft maar een beperkte toegevoegde waarde. Het is zinvol om enkele concepten (zie hierboven) van buiten te leren, maar nog meer zinvol is om het oefenexamen te doen en dit dan terug te koppelen naar de syllabus. Je gaat met andere ogen de leerstof bekijken en het is een goede indicator voor het echte examen. 
• Houd de tijd in oog: Zelf heb ik het examen op één uur afgelegd. Ik had de veertig vragen op een kleine vijftig minuten tijd en de overige minuten heb ik gebruikt om een tiental antwoorden te reviewen. Als je 75 minuten hebt, mik je best op een bestek van 55 minuten om alle vragen te beantwoorden en dan heb je nog twintig minuten over om antwoorden te reviewen. 
• Maak aantekeningen: Voor vragen die wat langer zijn (zoals de vraag over de burndown chart die ik eerder heb beschreven) is het nuttig om de vraag rustig te lezen en eventueel aantekeningen of een schema te maken. Voor de desbetreffende vraag heb ik dit gedaan en kwam ik zo op het verrassend simpele antwoord uit. 
• Let op versterkende woorden: Bij de antwoorden ga je regelmatig versterkende woorden terugvinden die een kwantiteit, frequentie, ... uitdrukken zoals dialy of no en dikwijls is dit het verschil tussen een correct en foutief antwoord. Een mooi voorbeeld hiervan is vraag 35 uit het oefenexamen. Een mogelijk antwoord is C "Performance testing: The application is responding in a reasonable amount of time with 5000 users". Hoewel dit op het eerste gezicht plausibel lijkt, staat er nergens wat de responstijden moeten zijn. Let dus ook op zinssneden zoals "according to specifications" want dit duidt wel op een goed antwoord. Ik kreeg op m'n examen ook een soortgelijke vraag als deze vraag uit het oefenexamen, dus hiermee kan je ook zeker een punt winnen. 
• Maak geen assumpties: Als een antwoord een uitleg bevat die je niet gezien hebt, moet er een alarmbel afgaan. Meestal - maar dus niet altijd - betekent dit dat deze uitleg misschien wel correct is, maar niet relevant. In een vraag over continuous integration was er één antwoord dat zei dat "developers have to integrate their code once every few hours and at least daily". Op het eerste gezicht lijkt dit een correct antwoord, maar de syllabus zegt "An automated build and test process takes place on a daily basis and detects integration errors early and quickly". Er wordt niks gezegd over once every few hours en het kan zelfs zijn dat een developer zijn code niet integreert omdat de unit tests aangeven dat er fouten in de code zitten. 
• Maak een (beredeneerde) gok: Het gaat hier om een multiple choice examen waar je 65% of meer moet scoren zonder giscorrectie. Als je niet zeker bent over één of meerdere antwoorden bij één vraag kan het helpen om van de vier of vijf mogelijke antwoorden een aantal opties te elimineren (door bijvoorbeeld op de versterkende woorden te letten of antwoorden te elimineren waarvan je zeker bent dat ze niet kloppen) en bij de overgebleven opties kan je een gokje wagen. Als er twee antwoorden overblijven, heb je bij een gok vijftig procent kans dat het juist is. Niet meteen de beste examenstrategie, maar wel ééntje waar je een paar punten mee kan sprokkelen en geen enkele mee verliest.