Onderzoeksprotocol Adviescollege ICT-toetsing

1 Inleiding

Datum vaststelling door college: 24-06-2024

Het Adviescollege ICT-toetsing stelt ingevolge artikel 7, lid 6 en 7 van de Wet Adviescollege ICT-toetsing een onderzoeksprotocol vast en publiceert deze. Dit onderzoeksprotocol beschrijft:

• de procedure voor onderzoeken;
• de gehanteerde methodieken en richtlijnen.

Naast dit onderzoeksprotocol beschikt het Adviescollege ICT-toetsing over een Reglement van Orde en Integriteitscode. Hierin is de wijze van besluitvorming opgenomen ten aanzien van de selectie van adviesaanvragen en de vaststelling van (concept) adviezen. Tevens zijn de bepalingen opgenomen die de objectieve en onafhankelijke advisering waarborgen.

1.1 Taakopdracht Adviescollege ICT-toetsing

Het Adviescollege ICT-toetsing is ingesteld ten behoeve van de algehele verbetering van de beheersing van ICT-projecten en informatiesystemen bij ministeries, zelfstandige bestuursorganen, de politie en de Raad voor de rechtspraak (centrale overheid). Het Adviescollege heeft tot taak om onderzoek uit te voeren en op basis hiervan te adviseren over:

1. een doeltreffende en doelmatige inrichting en toepassing van een informatiesysteem ter uitvoering van beleid of regelgeving;
2. de risico’s en slaagkans van een voorgenomen of lopend ICT-project en daarbij een oordeel te geven over de mate van beheersbaarheid;
3. de doeltreffendheid en doelmatigheid van onderhoud- en beheersactiviteiten van een informatiesysteem.

De specifieke regels omtrent het indienen van adviesaanvragen of het starten van onderzoeken uit eigen beweging zijn opgenomen in artikel 7 en artikel 11 in de Wet Adviescollege ICT-toetsing.

Naast het uitbrengen van advies heeft het Adviescollege een expliciete taak om te voorzien in kennisoverdracht en kennisbevordering binnen het CIO-stelsel van de centrale overheid. In dat verband kan het Adviescollege ook algemene aanbevelingen geven die niet toezien op specifieke projecten of informatiesystemen, maar die generiek worden gedaan vanuit de kennis en ervaringen die bij eerdere advisering is opgedaan.

2 Procedure voor onderzoeken

2.1 Selectie van onderzoeken

Het Adviescollege ICT-toetsing besluit zelf welke adviesaanvragen in behandeling worden genomen en welke adviezen uit eigen beweging worden uitgebracht. Het Adviescollege selecteert zijn onderzoeken met behulp van:

• een werkprogramma dat uitgangspunten biedt voor de selectie van gevraagd advies en advies uit eigen beweging;
• een beschreven kader voor risicogerichte selectie dat de selectiecriteria bevat.

Uitgangspunt daarbij is dat risicogerichte selectie periodiek wordt uitgevoerd op de portefeuille van adviesaanvragen en mogelijke adviezen uit eigen beweging van een ministerie inclusief de ZBO’s. Voor de inschatting van het risicoprofiel van de adviesaanvragen hanteert het Adviescollege een aantal criteria. Deze betreffen ‘omvang van het budget’, ‘maatschappelijke impact’ en ‘signalen over een project of organisatie’. Ook hanteert het Adviescollege het criterium ‘potentieel leereffect’ om te bepalen of het betreffende ministerie of een bredere doelgroep, bijvoorbeeld het CIO-beraad, belang heeft om te leren van de uitkomsten van een onderzoek. Op basis van de gezamenlijke score op deze criteria maakt het Adviescollege een eigen afweging. De selectie en timing van onderzoeken wordt daarom transparant toegelicht aan CIO’s in reguliere afstemgesprekken. Daarmee zijn CIO’s altijd en tijdig op de hoogte welke keuzes het Adviescollege maakt.

Het Adviescollege kan op basis van de uitkomsten van de risicogerichte selectie drie besluiten nemen:

1. Een onderzoek starten. Hierbij wordt de adviesaanvraag of een advies uit eigen beweging ‘in behandeling’ genomen.
2. De aanvraag in de portefeuille houden en op een later moment opnieuw beoordelen. Dit moment is van meerdere factoren afhankelijk. Bijvoorbeeld als er meer informatie beschikbaar is over het project of als er een nieuwe adviesaanvraag van het betreffende ministerie komt. Ook kan er een logisch startmoment in de toekomst zijn voorzien – zoals bijvoorbeeld de start van een aanbesteding of de afronding van een vooronderzoek, CIO-oordeel of pilot.
3. Niet selecteren van het project. Hierbij wordt de adviesaanvraag ‘niet in behandeling’ genomen. Hier kunnen meerdere redenen voor zijn, bijvoorbeeld:
   • het project is minder dan € 5 miljoen in omvang en er is geen indicatie dat het project een hoge maatschappelijke impact heeft;
   • het project is om administratieve redenen aangemeld (het is bijvoorbeeld vlak voor het einde net boven de aanmeldplicht van € 5 miljoen gekomen);
   • het project is weliswaar meer dan € 5 miljoen maar op grond van de beoordeling op de eerder genoemde criteria schat het Adviescollege het risicoprofiel niet hoog in;
   • het project is te laat aangemeld. De meerwaarde van het advies kan dan te laag zijn;
   • het risicoprofiel van het project is hoog ingeschat maar er is geen capaciteit beschikbaar. Dit wordt dan gemeld aan de betreffende bewindspersoon. Ook adviseert het Adviescollege dan extra aandacht aan de beheersing te besteden.

2.2 Uitvoeren onderzoek

Indien het Adviescollege besloten heeft om een onderzoek te starten dan verloopt het onderzoeksproces globaal volgens 4 stappen:

1. Voorbereiden en plannen onderzoek
2. Uitvoeren veldwerkzaamheden
3. Opstellen conceptadvies
4. Opstellen en uitbrengen definitief advies

De stappen en activiteiten zijn hieronder schematisch in figuur 1 weergegeven. In de volgende paragrafen wordt ieder stap beknopt toegelicht. Het Adviescollege kan besluiten om indien nodig af te wijken van onderstaande stappen.

2.2.1 Voorbereiden en plannen onderzoek

In deze stap worden globaal de volgende activiteiten uitgevoerd:

1. Er vindt een voorbereidend overleg met de (project)manager en mogelijk met het CIO-office plaats voor een eerste toelichting en achtergrondinformatie over het project of het informatiesysteem te krijgen. Ook worden er in het voorbereidend overleg afspraken gemaakt over de invulling van de ‘Single Point Of Contact’ (SPOC)-rol die gedurende het onderzoek de informatieaanlevering bij het Adviescollege zal verzorgen.
2. Het Adviescollege bepaalt de samenstelling van het onderzoeksteam en stelt vast of er mogelijke bedreigingen zijn ten aanzien van de objectiviteit en onafhankelijkheid.
3. Het Adviescollege vraagt de relevante informatie over project of informatiesysteem op bij de SPOC van het onderzoek en stelt een interview-/ themasessie-overzicht op.

Er vindt een startbijeenkomst voor het onderzoek plaats met de opdrachtgever, projectmanager/systeemeigenaar en de CIO van het bestuursorgaan.

2.2.2 Uitvoeren veldwerkzaamheden

In deze stap worden globaal de volgende activiteiten uitgevoerd:

1. Het onderzoeksteam houdt interviews en themasessies met verschillende betrokkenen. Daarnaast bestudeert het onderzoeksteam de documentatie en voert analyses uit. Aan de hand van het toetskader inventariseert het onderzoeksteam de bevindingen.
2. Het onderzoeksteam prioriteert de bevindingen op basis van risico-inschatting en valideert de bevindingen tegen het toetskader.  
3. Het onderzoeksteam houdt aanvullende interviews en voert aanvullende analyses uit om de geprioriteerde bevindingen verder te verdiepen. Hierbij kan eventueel aanvullende expertise ingeschakeld in het onderzoeksteam
4. Het onderzoeksteam bespreekt ter toelichting en validatie de voorlopige belangrijkste bevindingen, risico’s en adviezen met de opdrachtgever en CIO.

2.2.3 Opstellen conceptadvies

In deze stap worden globaal de volgende activiteiten uitgevoerd:

1. Het onderzoeksteam stelt het conceptadvies op. Het conceptadvies wordt na besluitvorming in de vergadering van het college vastgesteld.
2. Het conceptadvies wordt toegestuurd naar de verantwoordelijke bewindspersoon  voor hoor en wederhoor. 
3. Indien gewenst kan het Adviescollege de concept bevindingen en adviezen in een bespreking nader toelichten aan betrokkenen. 
4. De verantwoordelijke bewindspersoon dient binnen twee weken te reageren voor hoor en wederhoor.

2.2.4 Opstellen en uitbrengen definitief advies

In deze fase worden globaal de volgende activiteiten uitgevoerd:

1. Het onderzoeksteam stelt het definitieve advies op. Het definitieve advies wordt na besluitvorming in de vergadering van het college vastgesteld. Het definitieve advies wordt toegestuurd naar de verantwoordelijke bewindspersoon¹.
2. De verantwoordelijke bewindspersoon dient op basis van het definitieve advies een bestuurlijke reactie op te stellen. Indien een bewindspersoon de adviezen van het Adviescollege niet opvolgt, dient de bestuurlijke reactie eerst in de Ministerraad te worden besproken. Deze procedure is nader beschreven in artikel 11, lid 3 en 4 Wet Adviescollege ICT-toetsing.
   De verantwoordelijke bewindspersoon dient het definitieve advies en de bestuurlijke reactie binnen 4 weken aan de beide kamers van de Staten-Generaal toe te sturen.
3. Het Adviescollege publiceert binnen 2 weken na uitbrengen van het definitieve advies deze op de website van het Adviescollege. Er wordt een link naar de bestuurlijke reactie geplaatst zodra deze beschikbaar is.
4. Het Adviescollege kan een naschrift uitbrengen over de maatregelen die zijn voorgesteld ter opvolging van een advies uitbrengen.
5. Na circa zes maanden vindt een evaluatie plaats met de opdrachtgever en CIO.

¹Dit geldt voor adviesaanvragen die zijn ingediend door bewindspersonen. Indien het adviezen betreft op verzoek van de politie, de Raad voor de rechtspraak, zelfstandige bestuursorganen of de Staten-Generaal dan gelden afwijkende regels. Deze zijn opgenomen in artikel 8, lid 3 en 4 Wet Adviescollege ICT-toetsing.

3 Onderzoeksmethodieken en richtlijnen

Het Adviescollege hanteert de volgende onderzoeksmethodiek voor de uitvoering van onderzoeken:

3.1 Drie methodes van onderzoek

In onderzoeken worden drie gedeeltelijk overlappende onderzoeksmethodes toegepast. Dit is gevisualiseerd in onderstaande figuur. 

3.2. Richtlijnen

3.2.1 Toetskader

Het Adviescollege ICT-toetsing hanteert een toetskader als richtlijn om de belangrijkste risico’s te inventariseren. Het actuele toetskader is gepubliceerd op de website van het Adviescollege .

Het toetskader bevat risicogebieden die in een onderzoek aan de orde kunnen komen. Gedurende de uitvoering van een onderzoek gebruikt het onderzoeksteam het toetskader om de belangrijkste risico’s te inventariseren. Ieder risicogebied bevat een aantal toetsaspecten. Deze toetsaspecten zijn geformuleerd als richtinggevende principes en niet als specifieke normen, zodat ze toepasbaar zijn op het brede scala aan projecten, programma’s, verandertrajecten. De wijze waarop de toetsaspecten inhoudelijk worden getoetst en gewogen is afhankelijk van de specifieke situatie.

3.2.2 Handreikingen

Het Adviescollege ICT-toetsing brengt regelmatig handreikingen uit. Een handreiking is een samenvattende publicatie van de bevindingen en adviezen van het Adviescollege over een specifiek thema (bijvoorbeeld Agile werken). Deze handreikingen zijn gepubliceerd op de website van het Adviescollege en worden als richtlijn gehanteerd in de onderzoeken.