Thuis digitaal toetsen onder cameratoezicht

Op 16 maart kreeg ik een uitnodiging van de Toets Expert Groep van de Hogeschool Utrecht. Of ik mee wilde denken het mogelijk te maken studenten thuis digitaal toetsen af te nemen onder cameratoezicht. Belangrijk is dat de opleiding  aannemelijk kan maken dat de toets door de student zelf gemaakt is, zonder ongeoorloofde hulp van derden. Daarom is de inzet te onderzoeken of het mogelijk is studenten thuis digitaal te laten toetsen onder toezicht van twee camera’s die door een surveillant van de Hogeschool bekeken worden.

Sinds vorige week heb ik contact met een concurrent van het bekende teamviewer. Dit bedrijf, wat alle servers in Europa heeft staan en voldoet aan Europese regels voor privacy, heeft een eigen techniek ontwikkeld om gegevens te streamen waardoor slechts een beperkte bandbreedte nodig is.

De surveillant stuurt, in de voorbereiding van de toets, een groepje studenten een wachtwoord voor de toets per mail. Kort voor de toets begint stuurt de surveillant naar dat groepje studenten ieder twee linkjes. Een is voor de PC van de student en de andere voor de smartphone. De student hoeft geen privégegevens in de voeren, alleen het eerder verzonden wachtwoord.

Als de student op het eerste linkje klikt, moet eerst het wachtwoord ingevoerd worden. Hierna geeft de student de surveillant toestemming de pc voor te bereiden op de toets. De surveillant zet de camera aan op een deel van het scherm en zet op het andere deel van het scherm de inlogpagina van de toets klaar.

Het tweede linkje maakt de student open op zijn/haar smartphone. Na het invoeren van het wachtwoord zet de student de camera aan en positioneert deze zodat ook de omgeving waarin de toets gemaakt wordt, zichtbaar is voor de student.

De student logt in via surfconext en maakt de toets. Verondersteld wordt dat een surveillant tussen de 15 en de 30 studenten bij kan houden, maar dat moet uit testen blijken.

Ik wil einde deze en volgende week week drie vervolgtesten doen met een groep studenten thuis. Hoewel genoemde oplossing hier niet van afhankelijk is, wil ik testen met iQualify van de firma infoland. Eenvoudig omdat ik dat toetsprogramma het beste ken. Vanuit mijn klantenkring gaat de voorkeur uit naar HBO verpleegkunde, HBO BMH en opleidingen fysiotherapie of verloskunde.

Afgelopen twee weken zijn verschillende opstellingen getest.

Hieronder ziet u welke opstellingen met welke devices en applicaties eerder getest zijn en de resultaten van deze opstellingen. Hierbij zijn naast medewerkers van de HU ook collega’s van de Hanzehogeschool Groningen en de Hogeschool Arnhem en Nijmegen betrokken.

Standaard Windows-10 functionaliteiten

Om snel te kunnen handelen, is geprobeerd standaard functionaliteiten te gebruiken en is de student als vertrekpunt gekozen De aanname is dat iedere student beschikt over een laptop met webcam, Windows 10 en over een smartphone.

We vragen de studenten de situatie tijdens de toets twee keer vast te leggen op video. Met behulp van de native camera-app die standaard bij windows wordt geleverd, kunnen de ogen van de student tijdens het maken van de toets worden vastgelegd. Procedureel kan gedacht worden aan een instructie voorafgaand aan j de eerste toetsvraag in de geest van: “film met de camera van de laptop jouw omgeving. Klik pas daarna op volgende”. In de toetssoftware, bijvoorbeeld iQualify, wordt het tijdstip van die klik geregistreerd. Hiermee is een eerste “integriteitcheck” mogelijk van de filmpjes die later ingeleverd moeten worden. In eerste instantie hoeft alleen de duur van de video gecheckt te worden met de tijd tussen de eerste en de laatste geregistreerde klik van het toetsenbord. Als de video is gemanipuleerd , dan is het onwaarschijnlijk dat die tijd exact klopt.

De evaluatie van deze pilot laat zien dat de bestanden waarmee wordt gewerkt erg groot zijn met de nodige problemen als gevolg. Daarom wordt deze werkwijze vooralsnog niet als haalbaar gezien.

Timelaps met twee camera’s

Om aan de bezwaren van grote videobestanden in pilot 1 tegemoet te komen, is getest met timelaps. Hiermee worden per tijdseenheid foto’s gemaakt, die later automatisch als video aan elkaar gezet worden. Het voordeel van timelaps is dat bestanden veel kleiner worden en dat de foto’s van bepaalde kenmerken kunnen worden voorzien, wat het manipuleren van de data/kenmerken na afloop van de toets nog moeilijker maakt.

Deze pilot is getest op de Android smartphone met een betaalde app (5 euro) met de naam Lapse-It. Voor deze app is gekozen omdat de mogelijkheid bestaat om beelden met een lage resolutie te maken. Voor de Windows-10-pc is gekozen voor SkyStudioPro, een wat ouder freeware programma waarmee een video gemaakt kan worden met een lage resolutie en met de standaard webcam van een laptop. De code is gecheckt op malware bedreigingen.

Zoals in het filmpje hieronder te zien is, is deze test geslaagd.  Het achteraf nakijken van deze bestanden zal wel veel werk zijn.

Beeldbellen WeSeeDo

WeSeeDo is een AVG-proof platform op licentiebasis. Het wordt onder andere gebruikt door huisartsen en psychologen voor patiëntencontacten. WeSeeDo werkt met Google Chrome.

In de voorbereiding moeten studenten deze browser dus geïnstalleerd hebben. Het programma voorziet in een hardware-test die studenten zelf kunnen uitvoeren ter voorbereiding van de toets. Of het nodig is hiervoor een helpdeks op te zetten zal uit verdere testen moeten blijken. Op dit moment wordt gedacht van niet.

Voor een toets worden er per student twee “afspraken” ingepland. Afspraak 1 is voor de laptopcamera van de student en afspraak 2 voor zijn/haar smartphone. De student heeft van tevoren de instructie gekregen te testen en de positionering van de smartphone voor te bereiden. Kort voor de start van de toets wordt er een 1:2 verbinding gemaakt tussen de surveillant en de student: de ene verbinding is met de laptopcamera en de andere verbinding is met de smartphone van de student. De surveillant kan, afhankelijk van gemaakte afspraken, controles uitvoeren. Daarna moet de student even wachten en kan hij/zij aan de slag en kan de surveillant een verbinding maken met de volgende student.

De toets wordt gestart. Tijdens het maken van de toets ziet de surveillant een aantal studenten op 2 manieren, vanuit 2 verschillende perspectieven: in de ogen en van opzij. In principe is er life interactie mogelijk tussen de surveillant en de student.

In het filmpje hieronder is de geslaagde test te zien. Deze methode is wellicht geschikt voor kleinere groepen studenten. Er is grote twijfel rondom de beschikbare bandbreedte bij deze toepassing . Zeker in deze tijd dat de belasting van internet erg groot is en zelfs grote bedrijven als YouTube en Netflix de bandbreedte naar beneden bijstellen.

Screenleap, timelaps en audio

Bij de volgende pilot testen we een combinatie van streaming beelden, lokale opnames met timelaps en audio-opnames . In plaats van het tegelijk heen en weer streamen van video zoals bij beeldbellen, wordt nu uitsluitend het beeldscherm van de student naar de surveillant gestreamd.; life dus. Dit vraagt aanzienlijk minder bandbreedte.

De gedachte is dat een surveillant op deze manier een groep studenten kan volgen. Op indicatie of bij steekproef wordt aanvullende bewijsmaterialen bij de studenten opgevraagd. Voor de organiseerbaarheid lijkt dit een hele verbetering.

Ik werk al jaren naar volle tevredenheid met Screenleap om mijn beeld met mijn klanten te delen. Dat werkt probleemloos en snel en er zijn zelden problemen met beveiligingsinstellingen. Een kritische kanttekening op voorhand is wel op zijn plaats: het is een Amerikaanse provider!. Voor een aantal onderwijsinstellingen/security officers is dit een absolute no-go area, Het is aan de onderwijsinstelling of dit als veiligheidsrisico gezien wordt. Vastgesteld wordt dat bij deze toepassing de student zelf streamt náár een centraal punt en in dit geval de surveillant. Dit gebeurt middels een link die pas op het moment van de toets wordt aangemaakt. Na de toets wordt de verbinding verbroken.

Screenleap is een applicatie waarmee een beeldscherm gedeeld kan worden. In deze test krijgt de student de instructie de camera van zijn/haar laptop te activeren. Daarmee is de student in de ogen te kijken. De volgende instructie is om het camerabeeld weer te geven op de monitor (20% aan de rechterkant). De 80% aan de linkerkant van de monitor zijn beschikbaar voor de digitale toets. Het hele scherm wordt life gedeeld met de surveillant. Een surveillant kan meerdere studenten volgen. Additioneel maakt de student een time-laps opname van de omgeving met zijn/haar smartphone zoals eerder beschreven zoals beschreven in de pilot WeSeeDo. Indien gewenst kan de student gevraagd worden audio-opnames te maken tijdens de hele looptijd van de toets.

Volgende week ga ik met de ICT deskundige van het toetscentrum van een Hogeschool concreet testen wat de belasting van het internet met deze opstelling is. Het resultaat wordt aan deze pagina toegevoegd.

Geslaagde pilot met Anydesk

Op drie april hebben we een succesvolle pilot gedaan met gebruik van Anydesk. Anydesk is een programma wat lijkt op teamviewer waarmee de surveillant de pc en een deel van de smartphone van de student over kan nemen. De test is gedaan met vertegenwoordigers van de examencommissie, het management en een aantal docenten van de Hogeschool Utrecht. De test is geslaagd.

Besloten is dat een aantal studenten die in April nog een aantal toetsen moeten maken om hun diploma te halen om die op deze manier te testen. Ontwikkelpunten:

  • Instructie en voorbereiding van studenten is erg belangrijk
  • Inzet van smartphone van studenten als omgevingscamera
  • Zorg op privacy
  • Het proces van aanmelden en afmelden moet soepel verlopen
  • Live contact tussen surveillant en student tijdens de toets is wenselijk

Veilig en AVG proof toetsen op afstand

Gisteren verschenen verschillende berichten in de media van studenten die ageren tegen de wijze waarop proctorbedrijven omgaan met het privacygevoelige beeld- en geluidmateriaal wat ontstaat bij het onder toezicht van camera’s thuis afleggen van een digitale toets. Bezwaren van studenten zijn vooral gericht op het vastleggen van videobeelden. Deze bezwaren zijn zeer begrijpelijk, omdat er geen of nauwelijks zicht is op wie deze beelden onder ogen krijgt, hoelang en waar deze beelden worden opgeslagen en onder welke internationale wet- en regelgeving deze privacy toegang valt.

Vakbekwaamheid in Zicht heeft, sinds het ontstaan van de coronacrisis, i.s.m. Hogeschool Utrecht, Hanze Hogeschool Groningen en een opleiding van de HAN verschillende mogelijkheden van thuis digitaal toetsen onder toezicht van TWEE camera’s (surf-norm) onderzocht en in de praktijk getest.
De ontwikkelde en geteste methode voor toezicht op afstand bij digitaal toetsen is AVG proof en voldoet aan alle wet- en regelgeving. De student hoeft niets te installeren en er worden géén beelden opgeslagen.

De surveillance vindt live plaats door docenten / medewerkers van de opleiding. De inzet van surveillance is hoger dan bij een reguliere toets in een beveiligde omgeving binnen een opleiding. Daar staat tegenover dat het na afname van een toets ook klaar is. Gevallen van fraude worden gemeld aan de examencommissie. Verder kan de analyse van resultaten en het toekennen van waardering plaatsvinden zoals gebruikelijk.