Bezpečnost AI agentů v enterprise prostředí
Poznejte rizika nasazení AI (nejen) v průmyslových firmách, kde chyba v odpovědi znamená zranění nebo finanční ztráty.
Jak to dnes s bezpečností agentů vypadá
Nasazování LLM agentů v enterprise a "safety-critical" provozech je velkým trendem, ale často zde chybí respekt k fyzickým následkům. Firmy často věří, že:
AI agent se v manuálech a instrukcích "nějak zorientuje",
bezpečnostní pravidla v promptu stačí k zastavení nebezpečné akce,
halucinace je jen drobná estetická vada na kráse.
Realita v tovární hale je ale neúprosná:
Vymyšlený chybový kód nebo postup může zničit stroj.
Špatná interpretace senzoru může vést k úrazu.
Model věří externímu dokumentu víc než instrukcím od programátora.
Útok na AI systém se mění z digitálního problému na fyzickou hrozbu.
Co když na bezpečnost agentů půjdeme systematicky
Místo doufání, že "model bude mít rozum", si ukážeme, jak stavět agenty s architekturou, která selhání nepřipouští. Na webináři uvidíte:
kde přesně jsou vstupní body útoků (od PDF v RAGu po hlasový vstup),
proč musíme halucinaci chápat jako security issue, nikoliv jako problém kvality,
jak nastavit hranice autonomie – co může agent udělat sám a kde musí zasáhnout člověk,
jak postavit deterministické guardrails, které nejdou obejít kreativním promptem,
jak řešit izolaci dat, aby se informace "nepřelily" mezi zákazníky nebo provozy.
Co si odnesete
✓ Jak vytvořit threat model pro AI agenta.
✓ Jak se bránit proti prompt injection a manipulaci přes RAG (např. v dokumentaci).
✓ Kdy je vhodnější nasadit deterministický systém místo agenta.
✓ Jak zajistit "bezpečné selhání" (fail safe) LLM systému.
✓ Jak nastavit funkční human-in-the-loop procesy.
✓ Jak testovat odolnost systému na reálných datech, ne na akademických.
O přednášející
Svetlana Margetová je seniorní vývojářka, která se specializuje na enterprise a průmyslové aplikace. Nasazuje AI systémy v průmyslovém prostředí a má praktické zkušenosti s vývojem agentů pro safety-critical provozy, kde je kladen důraz na spolehlivost, integritu dat a eliminaci rizik spojených s halucinacemi LLM modelů.