“Een vloeiend geschreven AI-verslag is niet automatisch correct.”

Dit stond in een recent artikel van ICT&health over het RIGH:T-consortium. Daarin werken zorginstellingen (onder andere Erasmus MC, UMCG, LUMC, UMC Utrecht en ETZ) samen met TU Delft aan een praktisch kader om generatieve AI in de zorg te valideren.

Een demo van de leverancier, tevreden gebruikers of tijdwinst bewijzen niet dat AI goed werkt. De zorginstelling blijft verantwoordelijk voor het afwegen van de risico’s. Daarvoor zijn duidelijke afspraken met leveranciers nodig, stelt het consortium.

En dat vinden wij hartstikke terecht. Daarom hebben we voor onze AI-samenvatting module documentatie beschikbaar waarmee zorginstellingen kunnen beoordelen hoe wij met deze risico’s omgaan, denk aan:

  • DPIA’s en risicoanalyse
  • Productbeschrijving: wat onze AI-samenvatting wel en niet doet
  • Beschrijving van onze validatie- en evaluatiemethode
  • Hoe we wijzigingen in prompts en modellen testen en vrijgeven
  • Verwerkersovereenkomst en beschrijving van de dataverwerking (onze AI draait in Nederland en patiëntgegevens worden niet gebruikt om het model te trainen)


Waarom we dit zo serieus nemen?
Omdat we zelf het risico ook zien. Onze AI werkt als schrijfhulp en zet de antwoorden van de patiënt om in een samenvatting. De arts leest deze, past hem waar nodig aan en keurt hem goed voordat de tekst in het patiëntendossier wordt opgenomen. De AI beslist niet. En juist bij een vlotte leesbare tekst, valt het minder snel op als er iets ontbreekt, zoals een allergie of een medicijn. Een fout zit niet alleen in wat er staat, maar ook in wat er niét staat.

Daarom:

  • Toetsen we per poli: Wat voor Cardiologie werkt, werkt niet automatisch voor een andere poli.
  • Controleren we niet alleen op onjuistheden, maar ook op ontbrekende informatie, met behulp van een groeiende set testverslagen.
  • Testen we elke aanpassing aan een prompt of model voordat die live gaat.
  • Laten we artsen meebepalen wat er in een samenvatting niet mag ontbreken.

Benieuwd hoe we dit doen? Neem gerust contact op. De link naar het artikel van ICT&health vind je hier.