Supporting a Transition from Manual to Automated Functional Testing

Abstract: Functional testing is a very important part of the verification work done before releasing a technicalproduct to market. The results of the functional tests can be used both to prove that the product fulfillsthe requirements, but also to ensure that errors that were discovered in an earlier version of the producthave not reappeared. Functional testing can either be performed manually, automatically or as a mix ofboth. We present our experiences from our work on designing and implementing a system intended tosupport a transition from a mostly manual testing work-flow to a partly automated one, focusing on asmooth transition between the two states. The system developed is tailored suit both manual andautomated testing on several products, configurations and test targets in parallel which differs heavilyfrom a scenario where one product is tested in one configuration on one target. Our work consists ofdesigning and implementing: A test scheduler capable of executing several tests in parallel on differenttargets, a web interface allowing users to search for suitable test targets, with support for both manualand automated testing, and a database storing information for the scheduler and the web interface.------------------------------------------------------------SAMMANFATTNING:Funktionell testning är en mycket viktig del av verifikationsarbetet som görs innan en produkt släppspå marknaden. Resultaten från den funktionella testningen kan användas både för att bevisa attprodukten uppfyller kraven, men även för att försäkra sig om att brister som upptäckts i en tidigareversion av produkten inte dykt upp igen. Funktionell testning kan antingen utföras manuellt,automatiskt eller som en mix av båda. Vi presenterar våra erfarenheter från vår del av arbetet meddesign och implementering av ett system med avsikt att stödja en övergång från ett mestadels manuellttestflöde till ett delvis automatiskt sådant, med fokus på en smidig övergång mellan de båda stadierna.Det utvecklade systemet är anpassat för att passa både manuell och automatisk testning på fleraprodukter, konfigurationer och testobjekt samtidigt, vilket skiljer sig stort från ett scenario där enprodukt med en konfiguration testas på ett testobjekt. Vår del av arbetet består av att designa ochimplementera: En schemaläggare för test som kan exekvera flera test samtidigt på olika testobjekt, ettwebbgränssnitt som ger användare möjligheten att söka för passande testobjekt, med stöd för bådemanuell och automatisk testning, samt en databas som håller information som används förschemaläggaren och webbgränssnittet.