Přeskočit na obsah

Monitoring a logging AI systémů

Proč monitoring AI systémů

AI systémy se liší od tradičního softwaru — jejich chování se mění v čase, výstupy nejsou deterministické a kvalita závisí na vstupních datech. Post-deployment monitoring je proto nejen best practice, ale regulatorní požadavek.

Regulatorní kontext

RegulacePožadavekČlánek
AI ActPost-market monitoring pro high-risk AIČl. 72
AI ActLogging pro high-risk AI systémyČl. 12
NIS2Monitoring ICT bezpečnostiČl. 21
GDPRSledování automatizovaného rozhodováníČl. 22

Co monitorovat

Výkonnost modelu

MetrikaCo měříProč důležité
Accuracy / kvalitaSprávnost AI výstupůDetekce degradace modelu
LatenceDoba odpovědiUX a SLA
ThroughputPočet zpracovaných požadavkůKapacitní plánování
Error ratePoměr chybných odpovědíDetekce problémů

Bezpečnost a compliance

MetrikaCo měříProč důležité
Data lineageOdkud data přišla a kam jdouGDPR, audit trail
Access logsKdo k AI systému přistupujeBezpečnost, audit
AnomálieNeobvyklé vzory v dotazech/odpovědíchBezpečnostní incidenty
Bias detectionSystematické nerovnosti ve výstupechFairness, AI Act

Provozní metriky

MetrikaCo měříProč důležité
DostupnostUptime AI službySLA
NákladyAPI calls, computeBudget management
Usage patternsJak je AI využívánoAdopce, optimalizace

Logging — co zaznamenávat

Minimální požadavky (AI Act čl. 12)

Pro high-risk AI systémy musí logy umožnit:

  • Identifikaci vstupních dat a kontextu
  • Rekonstrukci rozhodovacího procesu
  • Identifikaci odpovědné osoby (human oversight)
  • Časové razítko každé interakce

Praktická doporučení

Retence

  • Minimum: Po dobu životnosti AI systému + regulatorní požadavky
  • GDPR omezení: Osobní data minimalizovat, pseudonymizovat
  • Doporučeno: Definovat retenci v AI politice

Alerting

Nastavte notifikace pro kritické události:

AlertTriggerAkce
Model degradationAccuracy klesne pod thresholdEskalace na AI tým
Security anomalyNeobvyklý vzor přístupůSecurity incident response
Data driftVstupní data se výrazně liší od tréninkuReview a případný retrain
Cost spikeNeočekávaný nárůst nákladůBudget review
DowntimeAI služba nedostupnáIncident response

Další čtení