RTM Single Data coherence as a measure of model quality (KB-33-000-016)

Coherentie, d.w.z., hoe goed een informatieset bij elkaar past, is een belangrijk gegeven dat we instinctief gebruiken om de geloofwaardigheid van een set informatie te beoordelen. Zo is bijvoorbeeld een voorspelling van hoge opbrengst en laag beschikbaar water niet coherent, terwijl een voorspelling van lage opbrengst en lage niveaus van bodemvoedingsstoffen wel coherent is.

Coherentie is met name relevant voor gewassysteemmodellen omdat ze de interactie tussen de componenten van een gewassysteem (bijv. bodem, gewas) simuleren om een multi-objectieve optimalisatie uit te voeren. Een boer kan bijvoorbeeld een gewassysteemmodel gebruiken om beslissingen te nemen die tegelijkertijd de opbrengst maximaliseren en het stikstofverlies minimaliseren.

Er bestaat binnen de modelleergemeenschap algemene overeenstemming dat het belangrijk is om niet alleen de eind-variabelen maar ook alle onderliggende componenten van een systeem goed te modelleren, om zo het bekende risico te vermijden dat het juiste antwoord wordt gegeven om de verkeerde reden. Echter ontbreekt het nog steeds aan formele methoden om de samenhang van de gewassysteemmodellen te beoordelen

In feite wordt de modelcoherentie in het beste geval alleen geëvalueerd bij individuele studies door het uitvoeren vankalibraties en validaties van variabelen. Een generieke maatstaf voor coherentie die verder gaat dan individuele gevallen van parameterkalibratie en ons informeert over de overeenkomst tussen modelstructuur en de relaties tussen variabelen in de werkelijke wereld ontbreekt - voor zover wij weten - nog steeds.

In dit project voorzien we de volgende werkpakketten:

- Identificatie van een geschikte indicator voor model coherentie (bijv. afstand tussen correlatiematrices).

- Het creëren van een dataset bestaande uit geobserveerde en gesimuleerde data om de coherentiemaatstaf te testen.

- Implementatie van de coherentiemaatstaf in de vorm van een eenvoudige software (bijv. R-code).