Bijlage 10. Criteria voor de beoordeling van ringtesten en technische proeven

Hoofdstuk 1. Ringtesten

 

Algemene bepalingen met betrekking tot de beoordeling van ringtesten:

 

a)

de toe te passen methoden en de termijnen voor het uitvoeren van de analyses worden uiterlijk op de dag van de verdeling van de ringtestmonsters aan de deelnemende laboratoria meegedeeld. De toe te passen methoden zijn de methoden, vermeld in artikel 45. Het al dan niet toepassen van die methoden of het al dan niet respecteren van de termijnen voor analyse maken deel uit van de beoordeling van het door het laboratorium gerapporteerde resultaat per parameter als vermeld in 3° en 5°;

 

b)

de termijnen en de wijze voor rapportering van de analysewaarden worden uiterlijk op de dag van de verdeling van de ringtestmonsters aan de deelnemende laboratoria meegedeeld. Het al dan niet respecteren van de termijnen en de wijze voor rapportering maakt deel uit van de beoordeling van het door het laboratorium gerapporteerde resultaat per parameter als vermeld in 3° en 5°;

 

c)

een gedeelte van de ruwe meetdata of alle ruwe meetdata over het door het laboratorium gerapporteerde resultaat kan bij of na de rapportering opgevraagd worden. Het al dan niet rapporteren van die ruwe meetdata en het al dan niet traceerbaar zijn van het resultaat dat het laboratorium gerapporteerd heeft, vertrekkend van de ruwe meetdata, maken deel uit van de beoordeling van het door het laboratorium gerapporteerde resultaat per parameter als vermeld in 3° en 5°;

 

d)

de deelnemende laboratoria worden uiterlijk op de dag van de verdeling van de ringtestmonsters schriftelijk op de hoogte gebracht van de manier waarop de ringtestresultaten verwerkt en beoordeeld worden;
 

e)

als aan de deelnemende laboratoria gevraagd wordt om voor een ringtest bijkomende parameters, die niet behoren tot een pakket als vermeld in bijlage 3, te analyseren, wordt met het gerapporteerde resultaat van die bijkomende parameters geen rekening gehouden bij de beoordeling van de ringtestresultaten per pakket, vermeld in 6°, 7° en 8°.

Verwerking per parameter van het gerapporteerde resultaat, voor parameters waarvoor getalwaarden gerapporteerd worden:

 

a)

voor elke parameter waarvoor getalwaarden gerapporteerd worden, wordt een dataset samengesteld op basis van de resultaten die de deelnemende laboratoria gerapporteerd hebben en volgens de modaliteiten als vermeld in 1°, d).

Aansluitend op de toepassing van ISO 13528 wordt een resultaat dat gerapporteerd is door een deelnemend laboratorium niet behouden in de dataset in de volgende gevallen:

 

 

1)

de methode, vermeld in 1°, a) is niet toegepast;

 

 

2)

de termijn voor het uitvoeren van de analyse, vermeld in 1°, a), is niet gerespecteerd;

 

 

3)

de termijn of de wijze voor rapportering, vermeld in 1°, b), is niet gerespecteerd;

 

 

4)

de ruwe meetdata, vermeld in 1°, c), zijn niet gerapporteerd;

 

 

5)

het gerapporteerde resultaat kan niet aangetoond worden, vertrekkend van de gerapporteerde ruwe meetdata;

 

b)

van de dataset, vermeld in a), worden voor elke parameter de statistische kengetallen, namelijk het gemiddelde en de spreiding, berekend via een robuuste statistische methode als vermeld in ISO/IEC 17043 of ISO 13528;

 

c)

als voor een bepaalde parameter uit de statistische verwerking van de dataset blijkt dat die op basis van de eisen, opgenomen in ISO/IEC 17043 of ISO 13528 of met toepassing van 1°, d), niet behouden kan worden, wordt die parameter niet opgenomen in de beoordeling, vermeld in 3° en 5°;

 

d)

als voor een bepaalde parameter het aantal getalwaarden in de dataset kleiner is dan 5 of wanneer meer dan 1/3 maar minder dan 2/3 van de laboratoria een grenswaarde of een waarde lager dan de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest, rapporteerde, wordt die parameter niet behouden voor verwerking;

 

e)

aan elke parameter worden een waarde en een spreiding toegewezen. De toegewezen waarde van een parameter is het robuuste gemiddelde van de dataset, vermeld in b), of een bekende waarde op basis van het aanmaakproces. De toegewezen spreiding van een parameter is de robuuste spreiding van de dataset, vermeld in b), zo nodig aangepast volgens de modaliteiten, vermeld in 1°, d), of een vaste waarde op basis van een beoogde of toegestane afwijking, die goedgekeurd is door het referentielaboratorium van het Vlaamse Gewest. In het laatste geval kan de beoordeling gebeuren ten opzichte van die vaste toegestane afwijking in plaats van op basis van z-scores;

 

f)

als het berekende robuuste gemiddelde kleiner is dan de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest, of als 2/3 of meer van de laboratoria een waarde rapporteerden lager dan de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest, of als het aanmaakproces uitsluit dat de parameter aanwezig was, wordt de beoordeling uitgevoerd ten opzichte van de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest;

 

g)

op basis van het resultaat voor een parameter dat het deelnemende laboratorium gerapporteerd heeft, de toegewezen waarde van de parameter en de toegewezen spreiding van de parameter wordt voor elk deelnemend laboratorium per parameter een z-score berekend als z = (x-µ)/σ, waarin x = het gerapporteerde resultaat, µ = de toegewezen waarde van de parameter, en σ = de toegewezen spreiding van de parameter;

Beoordeling per parameter van het gerapporteerde resultaat, voor parameters waarvoor getalwaarden gerapporteerd worden:

 

a)

het resultaat dat het laboratorium gerapporteerd heeft, wordt beoordeeld als "goed" wanneer de absolute waarde van de z-score, berekend zoals vermeld in 2°, g), kleiner is dan of gelijk is aan twee, of, als de toegestane afwijking een vaste waarde is zoals vermeld in 2°, e), wanneer de afwijking tussen het gerapporteerde resultaat en de toegewezen waarde van de parameter kleiner is dan of gelijk is aan die vaste afwijking;

 

b)

als een parameter niet of in een zeer lage concentratie aanwezig was volgens de criteria beschreven in 2°, f), wordt het resultaat van een laboratorium beoordeeld als “goed” wanneer het resultaat dat het laboratorium gerapporteerd heeft, indien het een getalwaarde betreft, lager is dan of gelijk is aan tweemaal de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest, of als de rapportagegrens, die gehanteerd wordt door het laboratorium, voldoet aan de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest;

 

c)

het resultaat dat het laboratorium gerapporteerd heeft, wordt beoordeeld als “twijfelachtig” als de absolute waarde van de z-score, berekend zoals vermeld in 2°, g), groter is dan twee maar kleiner is dan of gelijk is aan drie;

 

d)

in de volgende gevallen wordt het resultaat dat het laboratorium gerapporteerd heeft, beoordeeld als “slecht”:

 

 

1)

er werd geen resultaat gerapporteerd;

 

 

2)

de absolute waarde van de z-score, berekend zoals vermeld in 2°, g), is groter dan drie;

 

 

3)

het resultaat dat gerapporteerd is, werd niet verkregen door de methode, vermeld in 1°, a), toe te passen;

 

 

4)

de termijn voor het uitvoeren van de analyse, vermeld in 1°, a), werd niet gerespecteerd;

 

 

5)

de termijn of de wijze voor rapportering, vermeld in 1°, b), werd niet gerespecteerd;

 

 

6)

de ruwe meetdata, vermeld in 1°, c), werden niet gerapporteerd;

 

 

7)

het gerapporteerde resultaat kan niet worden aangetoond, vertrekkend van de gerapporteerde ruwe meetdata;

 

 

8)

er werd een rapportagegrens gehanteerd die niet voldoet aan de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaamse Gewest;

 

 

9)

er werd een bovenwaarde gerapporteerd (> getalwaarde) waar dat niet toegelaten is door de methode die volgens 1°, b), toegepast moet worden;

 

 

10)

er werd een vals positief resultaat gerapporteerd; dit wil zeggen dat een resultaat werd gerapporteerd dat hoger is dan tweemaal de rapportagegrens, vermeld in de desbetreffende wetgeving die van toepassing is in het Vlaams Gewest terwijl de parameter niet of in zeer lage concentratie aanwezig was volgens de criteria beschreven in 2°, f);

 

 

11)

er werd geen melding gemaakt van de uitbesteding als dat toegelaten is;

 

 

12)

als de toegestane afwijking een vaste waarde is: de afwijking tussen het gerapporteerde resultaat en de toegewezen waarde van de parameter, vermeld in 2°, e), is groter dan de toegestane afwijking;

 

 

13)

[...]

Voor de verwerking per parameter van het gerapporteerde resultaat voor parameters waarvoor geen getalwaarden gerapporteerd worden, wordt het resultaat dat het laboratorium gerapporteerd heeft, vergeleken met het referentieresultaat, vastgelegd bij het aanmaken van de monsters;

Beoordeling per parameter van het gerapporteerde resultaat, voor parameters waarvoor geen getalwaarden gerapporteerd worden:

 

a)

het resultaat dat het laboratorium gerapporteerd heeft, wordt beoordeeld als "goed" wanneer het resultaat dat het laboratorium gerapporteerd heeft, overeenkomt met het referentieresultaat;

 

b)

in de volgende gevallen wordt het resultaat dat het laboratorium gerapporteerd heeft, beoordeeld als “slecht”:

 

 

1)

er werd geen resultaat gerapporteerd;

 

 

2)

het resultaat dat het laboratorium gerapporteerd heeft, komt niet overeen met het referentieresultaat;

 

 

3)

het resultaat dat het laboratorium gerapporteerd heeft, is niet verkregen door de methode, vermeld in 1°, a), toe te passen;

 

 

4)

de termijn voor het uitvoeren van de analyse, vermeld in 1°, a), werd niet gerespecteerd;

 

 

5)

de termijn of wijze voor rapportering, vermeld in 1°, b), werd niet gerespecteerd;

 

 

6) de ruwe meetdata, vermeld in 1°, c), werden niet gerapporteerd;

 

 

7)

het gerapporteerde resultaat kan niet worden aangetoond, vertrekkend van de gerapporteerde ruwe meetdata;

   

8)

er werd geen melding gemaakt van de uitbesteding als dat toegelaten is;

Beoordeling van de ringtestresultaten per pakket, uitgezonderd microbiologie en het pakket, vermeld in bijlage 3, 3°:

 

a)

het totale aantal te beoordelen parameters voor een pakket wordt berekend als het totale aantal parameters waarvoor een resultaat gerapporteerd moest worden, in voorkomend geval verminderd met:

 

 

1)

het aantal bijkomende parameters, vermeld in 1°, e);

 

 

2)

de niet-behouden parameters, vermeld in 2°, c).

 

 

Als uitbestedingen worden toegelaten binnen een pakket, wordt voor elke deelnemer afzonderlijk dat aantal nog verminderd met het aantal uitbestede parameters op voorwaarde dat van die uitbesteding melding gemaakt is;

 

b)

om een gunstige beoordeling voor een pakket als vermeld in bijlage 3, met vijf of minder parameters te krijgen, mag voor geen enkele parameter die behoort tot het pakket, een beoordeling "twijfelachtig" of "slecht" gescoord worden;

 

c)

om een gunstige beoordeling voor een pakket als vermeld in bijlage 3, met meer dan vijf parameters te krijgen, wordt het aantal parameters waarvoor een beoordeling "twijfelachtig" of "slecht" verkregen mag worden, als volgt bepaald:

 

 

1)

het aantal parameters waarvoor een beoordeling "twijfelachtig" of "slecht" verkregen mag worden, is kleiner dan of gelijk aan een tiende, afgerond op het dichtstbijzijnde gehele getal, van het totale aantal te beoordelen parameters, berekend volgens a);

 

 

2)

het aantal parameters waarvoor een beoordeling "slecht" verkregen mag worden, is kleiner dan of gelijk aan een twintigste, afgerond op het dichtstbijzijnde gehele getal, van het totale aantal te beoordelen parameters, berekend volgens a);

 

 

3)

voor pakketten met tien of minder parameters mag voor geen enkele parameter een beoordeling "slecht" verkregen worden;

Beoordeling van ringtestresultaten per pakket met betrekking tot microbiologie:

 

a)

per parameter worden verschillende stalen aangeboden. Een laboratorium is geslaagd voor een parameter als voor niet meer dan een derde, afgerond op het dichtstbijzijnde gehele getal, van het aantal beoordeelde stalen een beoordeling “twijfelachtig” of “slecht” gescoord wordt en voor niet meer dan een zesde, afgerond op het dichtstbijzijnde gehele getal, van het aantal beoordeelde stalen een beoordeling “slecht” behaald wordt;

 

b)

een laboratorium is geslaagd voor een pakket als het geslaagd is voor alle parameters die deel uitmaken van het pakket;

Beoordeling van ringtestresultaten per pakket met betrekking tot het pakket, vermeld in bijlage 3, 3°:

 

a)

als voor dezelfde parameter, met uitzondering van de handmatige bepaling van de bodemtextuur, verschillende stalen worden aangeboden, worden de resultaten van de verschillende stalen beoordeeld als volgt:

 

 

1)

de parameter krijgt de beoordeling “goed” als van alle stalen voor die parameter niet meer dan 10% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” of “twijfelachtig” kreeg en niet meer dan 5% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” kreeg;

 

 

2)

de parameter krijgt de beoordeling “twijfelachtig” als van alle stalen voor die parameter niet meer dan 20% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” of “twijfelachtig” kreeg en niet meer dan 10% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” kreeg;

 

 

3)

de parameter krijgt de beoordeling “slecht” als van alle stalen voor die parameter meer dan 20% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” of “twijfelachtig” kreeg of meer dan 10% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” kreeg;

 

b)

als voor de parameter handmatige bepaling van de bodemtextuur verschillende stalen worden aangeboden, worden de resultaten van de verschillende stalen beoordeeld als volgt:

 

 

1)

de parameter krijgt de beoordeling “goed” als niet meer dan 10% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” kreeg;

 

 

2)

de parameter krijgt de beoordeling “slecht” als meer dan 10% van de stalen, afgerond op het dichtstbijzijnde gehele getal, de beoordeling “slecht” kreeg;

 

c)

om een gunstige beoordeling voor een pakket als vermeld in bijlage 3, 3°, te krijgen, moet voldaan worden aan de volgende voorwaarden:

    1)

voor geen enkele parameter als vermeld in bijlage 3, 3°, a) en b), mag een beoordeling “twijfelachtig” of “slecht” verkregen worden;

    2)

wat de parameter, vermeld in bijlage 3, 3°, c), betreft: voor hetzij de handmatige bepaling voor minstens één werknemer, hetzij de granulometrische bepaling, moet een beoordeling “goed” verkregen worden.

 

Hoofdstuk 2 - Technische proeven

 

Als het laboratorium moet slagen voor een technische proef, kan die, afhankelijk van het pakket, bestaan uit een of meer van de volgende mogelijkheden:

het door het referentielaboratorium van het Vlaamse Gewest bijwonen van een typische monsterneming. Daarbij wordt aan het laboratorium gevraagd om specifieke aspecten van de uitvoering toe te lichten of te demonsteren. Daarvan wordt door het referentielaboratorium van het Vlaamse Gewest een verslag opgemaakt met vermelding van de vastgestelde tekortkomingen. Een laboratorium is geslaagd als de tekortkomingen die zijn opgenomen in het verslag, werden weggewerkt. De nodige evidentie daarvoor wordt bezorgd aan en geėvalueerd door het referentielaboratorium van het Vlaamse Gewest;

 

het deelnemen aan een door het referentielaboratorium van het Vlaamse Gewest georganiseerde meting. Een laboratorium is geslaagd als de resultaten van die meting voldoen aan de criteria die zijn meegedeeld voorafgaand aan de uitvoering van de technische proef;

 

het bijwonen van een typische meting door het referentielaboratorium van het Vlaamse Gewest. Daarbij wordt aan het laboratorium gevraagd om de specifieke aspecten van de meting toe te lichten of te demonstreren. Daarvan wordt door het referentielaboratorium van het Vlaamse Gewest een verslag opgesteld met vermelding van de vastgestelde tekortkomingen. Een laboratorium is geslaagd als de tekortkomingen die zijn opgenomen in het verslag, werden weggewerkt. De nodige evidentie daarvoor wordt bezorgd aan en geėvalueerd door het referentielaboratorium van het Vlaamse Gewest;

 

een documentaire controle door het referentielaboratorium van het Vlaamse Gewest van de inhoud van de rapporten. Daarvan wordt door het referentielaboratorium van het Vlaamse Gewest een verslag opgemaakt met vermelding van de vastgestelde tekortkomingen. Een laboratorium is geslaagd als de tekortkomingen die zijn opgenomen in het verslag, werden weggewerkt. De nodige evidentie daarvoor wordt bezorgd aan en geėvalueerd door het referentielaboratorium van het Vlaamse Gewest;

 

de controle door het referentielaboratorium van het Vlaamse Gewest van de gehanteerde berekenings- en rapportagewijze. Daarvan wordt door het referentielaboratorium van het Vlaamse Gewest een verslag opgemaakt met vermelding van de vastgestelde tekortkomingen. Een laboratorium is geslaagd als de tekortkomingen, vermeld in het verslag, werden weggewerkt. De nodige evidentie daarvoor wordt bezorgd aan en geėvalueerd door het referentielaboratorium van het Vlaamse Gewest;

 

het uitvoeren van een meting op een door het referentielaboratorium van het Vlaamse Gewest aangeboden proefobject. Een laboratorium is geslaagd als de resultaten van die meting niet meer afwijken van de referentiewaarde dan de toegelaten afwijkingen die zijn meegedeeld voorafgaand aan de uitvoering van de technische proef;

 

een documentaire controle door het referentielaboratorium van het Vlaamse Gewest van het validatiedossier en de berekende meetonzekerheid, opgesteld door het laboratorium. Daarvan wordt door het referentielaboratorium van het Vlaamse Gewest een verslag opgemaakt met vermelding van de vastgestelde tekortkomingen. Een laboratorium is geslaagd als de tekortkomingen die zijn opgenomen in het verslag, werden weggewerkt. De nodige evidentie daarvoor wordt bezorgd aan en geėvalueerd door het referentielaboratorium van het Vlaamse Gewest;

 

het deelnemen aan een multiplechoice-examen, georganiseerd door het referentielaboratorium van het Vlaamse Gewest. Een laboratorium is geslaagd als voldaan wordt aan de voorwaarden die zijn meegedeeld voorafgaand aan de deelname aan het examen.