Blog

<h3>Nová kalifornská legislativa zdůrazňuje, proč lékaři zůstanou „gatekeepeři“ i v éře AI</h3>Milí kolegové a příznivci moderních technologií v medicíně,nejnovější krok Kalifornie potvrzuje, že lékařská expertiza zůstává naprosto zásadní. Zákon s označením „Physicians Make Decisions Act“ (Senate Bill 1120) totiž od ledna 2025 zakazuje zdravotním pojišťovnám rozhodovat o zamítnutí či odkladu pojišťovacích nároků výlučně na základě algoritmů umělé inteligence.&nbsp; 💡Co se mění? AI nemůže být jediným faktorem pro zamítnutí: Pojišťovny musí vždy zapojit lidský pohled, aby nedocházelo k nelogickým či necitlivým zamítnutím péče. Striktní lhůty: Standardní žádosti musejí být vyřízeny do 5 pracovních dnů, urgentní do 72 hodin a retrospektivní revize do 30 dnů, což zvyšuje odpovědnost pojišťoven a snižuje stres pacientů. Zachování role lékaře: AI není zakázána, ale zákon posiluje lékařskou autoritu a zohledňuje komplexitu pacientů, kterou algoritmy nedokážou vždy uchopit. Inspirace pro ostatní státy: Kalifornie vysílá signál, že nasazení AI v citlivých oblastech, jako je zdravotní pojištění, se neobejde bez jasných etických a právních mantinelů. &nbsp;🔎Proč je to důležité pro naši praxi?V nedávném novoročním poselství jsem zdůrazňoval, že lékař nebude nahrazen AI – naopak se stane klíčovým prvkem v jejím trénování a dohledu. Moderní modely jako O3 (s tzv. „Chain-of-Thought“ přístupem) mají obrovský potenciál zlepšovat péči, avšak v oborech, kde je třeba zohlednit komplexnost a individualitu pacienta, je lidský úsudek nenahraditelný.Kalifornský zákon tak v praxi dokládá, proč lékař zůstává „gatekeeperem“: lékař je jediný, kdo dokáže zasadit výstup AI do kontextu konkrétního pacienta a vzít v potaz nejistotu či pravděpodobnostní rozměr diagnózy.Věřím, že tato legislativa ukazuje směrem k zodpovědnému využití umělé inteligence, které neohrožuje lékařsko-pacientský vztah, ale naopak jej posiluje. A pokud se k podobným krokům odhodlají i další státy, může to být důležitý mezník pro budoucnost etického a efektivního nasazení AI v medicíně.Držme si palce, abychom tuto cestu zvládli s co největším přínosem pro všechny pacienty.Reference: <a data-mce-href="https://www.mercurynews.com/2025/01/05/new-california-law-ban-artificial-intelligence-deny-insurance-claims/" href="https://www.mercurynews.com/2025/01/05/new-california-law-ban-artificial-intelligence-deny-insurance-claims/">[1]</a>

Nová kalifornská legislativa zdůrazňuje, proč lékaři zůstanou „gatekeepeři“ i v éře AI

Milí kolegové a příznivci moderní medicíny,jistě jste v poslední době zaznamenali představení nového modelu OpenAI, označovaného jako O3. Rád bych této události využil k prezentaci své vize budoucnosti AI v medicíně a naznačil, jakou roli v ní budou hrát lékaři.Zásadním rozdílem oproti klasickému GPT-4 je, že namísto pouhého generování jedné odpovědi O3 (a další modely ze série O) vytváří mnoho kandidátních řešení, tzv. řetězců myšlenek (Chain-of-Thought, CoT). Tato řešení jsou hodnocena verifikačním modelem, který hledá chyby v logice či výpočtech. V některých případech se pak vybere tzv. konsenzuální nebo nejčastější odpověď.Pokud model sestaví správnou sekvenci kroků vedoucí k ověřené odpovědi, může se na základě těchto mezikroků doladit (fine-tuning), čímž posiluje svou schopnost generovat řetězce úvah, které vedou ke správným výsledkům správným postupem. Tento proces, známý jako reinforcement learning (RL), umožňuje modelu učit se preferovat správné myšlenkové postupy (reasoning). Díky automatickému ověřování generovaných odpovědí jde o velmi efektivní způsob zlepšování, což dokazuje model O3, jenž dosáhl významných výsledků – například 25 % přesnosti v benchmarku FrontierMath oproti méně než 2 % u předchozích modelů. V rámci implementací RL u těchto modelů rozlišujeme dva hlavní přístupy:1. Outcome supervision – Model se učí na základě výsledku, což dobře funguje u úloh s jasně definovanou správnou odpovědí (např. matematika, programování).2. Process supervision – Experti hodnotí správnost jednotlivých kroků, čímž model postupně zdokonaluje svou logiku. Doposud jsme popisovali přístup číslo 1, který je ideální tam, kde lze správnost odpovědí objektivně a snadno ověřit. Model se dokáže rychle poučit ze svých výsledků a efektivně upravit svou vnitřní logiku – právě díky vysoké míře automatizace je tento postup velmi lákavý.Pro medicínu a přírodní vědy však přichází na řadu spíše přístup číslo 2. V těchto oborech řešíme diagnózy, výskyt symptomů a doprovodných projevů i prognózy s určitou pravděpodobností, a to s přihlédnutím ke komplexnosti a individualitě našich pacientů. V medicíně se proto někdy obrazně říká, že „je možné téměř všechno“. Klíčovou roli zde hraje nejen lékařská zkušenost a znalost medicíny, ale také jistá dávka intuice. Výstupy umělé inteligence proto nelze hodnotit tak exaktně jako v matematice či programování, a z toho důvodu je nezbytné, aby byl lékař součástí nejen trénování, ale i samotné aplikace modelu v praxi. Moje novoroční poselství zní: Lékaři se nemusí obávat, že je umělá inteligence nahradí. Naopak věřím, že lékař zůstane klíčovým prvkem nejen při trénování a zavádění AI do klinické praxe, ale také při její každodenní aplikaci v běžném provozu. Jako „gatekeeper“ bude lékař tím, kdo dokáže výstupy umělé inteligence zasadit do kontextu komplexní a individuální péče o pacienta.

AI v medicíně: Jsou lékaři stále nepostradatelní?

<h3>Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení 🩺</h3>V minulém díle jsme se bavili o tom, že umělá inteligence (AI) je mladá technologie, jejíž adopce probíhá někdy až velmi rychle. Stále však chybí konsenzus ohledně účinných metod hodnocení těchto aplikací. Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Místo nich se setkáváme především s obecnými rámci (frameworky).Crossnohere a kol. (1) se tímto problémem zabývali a identifikovali existující rámce, které usměrňují používání a hodnocení AI. Analýza čtrnácti těchto rámců odhalila pět klíčových aspektů:🌐 Transparentnost&nbsp;Transparentnost zahrnuje nejen možnost sledovat, jak AI dospěla k určitému výsledku, včetně míry jistoty dané interpretace, ale také celý proces vývoje, validace a následného dohledu.🔄 Reprodukovatelnost&nbsp;Výsledky AI musí být ověřitelné v různých podmínkách. Princip „stejné vstupy = stejné výsledky“ zajišťuje vědeckou přesnost a umožňuje nezávislé ověření.⚖️ Etika&nbsp;Respekt k pacientům, spravedlivé zastoupení a ochrana soukromí jsou klíčovými principy, které musí být zohledněny ve všech fázích vývoje i implementace AI.💡 EfektivitaAI musí mít reálný přínos pro klinickou praxi, například zlepšovat diagnózy, šetřit čas lékařů nebo snižovat náklady. Efektivita zahrnuje také zajištění kvality dat a adaptabilitu modelů na různá prostředí.👥 Zapojení a dohled&nbsp;Aktivní zapojení zdravotníků, pacientů a kontinuální monitoring AI systémů během jejich vývoje a testování zajišťují, že výsledné technologie odpovídají reálným potřebám a očekáváním. Průběžné sledování navíc garantuje, že systémy zůstávají bezpečné, spolehlivé a aktuální.(Tato oblast je dle studie nejvíce opomíjená.) 🔍 Co si z toho odnést?Rámce identifikované v této studii poskytují důležitý základ pro hodnocení a implementaci AI v medicíně, ale také odhalují mezery, zejména v oblastech dlouhodobého dohledu a zapojení uživatelů.&nbsp;Pro zajištění reálného přínosu a bezpečnosti AI je nezbytné zaměřit se na všechny klíčové aspekty, a to od transparentnosti přes etiku až po efektivitu.V rámci adopce samotné technologie je, kromě zmíněných rámců, technických standardů, testování a metrik, klíčová také důkladná edukace a školení zdravotnických profesionálů. Tyto kroky jim umožní technologii efektivně a odpovědně využívat. (2)Reference: [<a data-mce-href="https://www.jmir.org/2022/8/e36823" href="https://www.jmir.org/2022/8/e36823">1</a>], [<a data-mce-href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf">2</a>]

Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení

<h3>Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE 🩻</h3>Jakmile se umělá inteligence (AI) začne používat v klinické praxi, nastupuje otázka: Jak tuto AI spravedlivě a objektivně otestovat, aby opravdu pomáhala a nepřinášela matoucí či neověřené výsledky?&nbsp;Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Spíše se setkáváme s obecnými rámci (frameworky).V dalších dílech se zaměříme na testování AI v medicíně obecně. Dnes však představím recentní studii „ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation“, která se zabývá standardizovaným testováním pomocí benchmarků a tabulek porovnávajících různé AI modely podle jejich schopnosti generovat radiologické zprávy.Standardizované hodnocení díky ReXrank 🩺Studie představuje benchmark – sadu nástrojů, které umožňují testovat modely na jednotné sadě dat pomocí široké škály metrik. Například metrika RadCliQ zohledňuje jak textovou podobnost, tak klinickou přesnost. Hodnotí, jak blízko je výstup AI zprávě lékaře a nakolik je informace z klinického hlediska správná.&nbsp;Nejde tedy jen o to, aby výstup "zní správně", ale aby skutečně správný byl.K testování využívá komplexní dataset (veřejné i soukromé datové sady), který vhodně reprezentuje různá zdravotnická zařízení, modality a přístroje. Tento přístup pomáhá zjistit, zda si model poradí i s neznámým prostředím či odlišnou demografií pacientů. Bez takové diverzity dat hrozí, že model bude fungovat jen „domacím pracovišti“ a nikde jinde.Tento přístup poskytuje jednotný rámec pro porovnávání výkonu modelů, bez ohledu na to, jakou strategii využívají, což je v medicíně klíčové. Pokud by každý tým testoval AI na odlišných snímcích a s jinými metrikami, nebylo by možné určit, který model je skutečně lepší nebo vhodnější pro praxi.Další zajímavosti z této studie:Problém s interpretací nálezů: Beyond picture 🧠AI modely pro generování radiologických zpráv už neslouží jen k rozpoznávání lézí na snímcích, ale snaží se vytvořit kompletní lékařskou zprávu, včetně klíčové části „impression“. Právě tato část představuje pro AI unikátní výzvu, protože vyžaduje tzv. higher reasoning a klinické znalosti, které přesahují rámec pouhého popisu obrazu. V této oblasti však AI stále zaostává.Tato omezení zdůrazňují, že pro další pokrok v této oblasti není dostačující pouze zlepšování schopnosti analýzy obrazu. Klíčovým krokem bude naučit AI chápat klinické souvislosti a vytvářet smysluplné závěry, které odpovídají úrovni lidského uvažování a odborného úsudku. To je zásadní nejen pro efektivní interpretaci snímků, ale i pro skutečné porozumění klinickému kontextu.Praktický dopad 🏆 Standardizovaný testovací rámec pomůže lékařům, vývojářům i regulátorům lépe hodnotit AI v medicíně. Výsledkem je rychlejší a bezpečnější integrace do klinické praxe, kde budou lékaři vědět, že se na AI mohou skutečně spolehnout.Reference: [<a data-mce-href="https://arxiv.org/abs/2411.15122" href="https://arxiv.org/abs/2411.15122" data-mce-selected="inline-boundary">1</a>]

Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE

<h3>Podobnost lidského a strojového vnímání reality</h3>Už jste někdy viděli obličej v mracích nebo ve vzoru na toastu? Nejste sami! Tento fenomén se nazývá pareidolie a je hluboce zakořeněný v našem lidském vnímání.Pareidolie: Když mozek hraje hry 🧠Pareidolie je psychologický jev, při kterém náš mozek vidí známé tvary nebo vzory tam, kde ve skutečnosti nejsou. Evolučně nám tato schopnost pomáhala přežít—rychlé rozpoznání obličejů nebo predátorů mohlo znamenat rozdíl mezi životem a smrtí. Mozek upřednostňuje "citlivost nad selektivitou", což znamená, že raději uvidí obličej tam, kde není, než aby nějaký přehlédl.Stroje se učí vidět jako my 🤖Výzkumný tým z MIT CSAIL vytvořil dataset nazvaný Faces in Things, který obsahuje přes 5 000 obrázků, kde lidé vnímají tváře v neživých objektech. Cílem bylo zjistit, zda mohou AI modely naučit rozpoznávat tyto pareidolické tváře stejně jako lidé.Evoluční kořeny v algoritmech 🌳Zajímavé je, že AI modely samy o sobě nedokázaly pareidolické tváře rozpoznat. Po tréninku na zvířecích tvářích se však jejich schopnost detekce výrazně zlepšila. To naznačuje, že stejně jako u lidí může i u strojů hrát roli „evoluční“ princip. Jinými slovy, modely trénované na různorodých datech (včetně zvířat) lépe napodobují tuto schopnost generalizace.Proč je to důležité? 💡<ul><li>Vylepšení AI systémů: Zlepšení detekce obličejů a snížení falešně pozitivních výsledků může mít dopad na oblasti jako autonomní vozidla, interakce člověk-stroj.</li><li>Psychofyzikální studie: Nové nástroje pro zkoumání lidské vizuální pozornosti a zaujatosti.</li><li>Kreativní aplikace: Automatická optimalizace designu umožňuje vytvářet produkty, které působí přátelštěji a atraktivněji – například automobily, dětské hračky nebo lékařské přístroje, jež díky tomu mohou působit méně hrozivě a více přívětivě.</li></ul>Podobnost mezi lidským a strojovým vnímáním reality tedy není jen fascinující spojení těchto dvou světů, ale také je plná potenciálu pro inovace.Reference: <a data-mce-href="https://arxiv.org/pdf/2409.16143" href="https://arxiv.org/pdf/2409.16143">[1]</a>

Podobnost lidského a strojového vnímání reality

<h3>Problém s lékařskou terminologií v prostředí AI</h3>Představte si, že máte model, který brilantně analyzuje filmové recenze nebo odpovídá na obecné otázky. Ale když přijde na medicínská data, začne tápat. Proč? Protože medicínská terminologie je plná specifických zkratek a kontextů, které jsou klíčové pro správné porozumění.Například zkratka "ALS" označuje amyotrofickou laterální sklerózu, vážné neurologické onemocnění. Ale obecný model by mohl tuto zkratku interpretovat naprosto chybně – možná by si myslel, že jde o název nějakého sportovního klubu nebo dokonce novou technologickou firmu! Pojďme si uvést příklad, jak se dá tento typ problému řešit. 🎯Jemné doladění (Fine-tuning) 💻Jak zajistit, aby model správně rozuměl „medicínskému jazyku“? Klíčem je jemné doladění, známé také jako fine-tuning (v tomto případě embeddingových modelů). Tento proces spočívá v dotrénování modelu na menším, specializovaném zdroji dat zaměřeném na medicínskou terminologii. Je to podobné, jako kdybyste poslali váš model na lékařskou fakultu, aby se naučil mluvit jazykem lékařů. 🎓Kontrastní ztráta (Contrastive Loss) ⚖️Kontrastní ztráta trénuje model tak, aby rozpoznával jemné rozdíly. Funguje to tak, že modelu předložíte dotaz, správnou odpověď a rušivou (nesprávnou) odpověď. Tím se model učí rozlišovat mezi tím, co je správné a co ne, což zlepšuje jeho přesnost a schopnost poskytovat relevantní výsledky.Představte si, že učíte model rozeznávat ručně psané číslice: ukážete mu obrázek čísla „5“ (dotaz), potvrdíte, že je to opravdu „5“ (správná odpověď), a zároveň mu ukážete obrázek „6“ (rušivá odpověď). Porovnáním „5“ a „6“ se model naučí rozeznávat jemné rozdíly mezi nimi.Využití syntetických dat 🧪Ale kde vzít dostatek kvalitních medicínských dat? V procesu trénování medicínské AI je potřeba používat spolehlivé zdroje zdravotních informací (například z PubMedu…), ale lze také využít vygenerovaná „syntetická data“ pomocí modelů, jako je například Llama, které vycházejí z těchto dat.Výsledky mluví za vše 📈Takto doladěné modely často překonávají i mnohem větší modely v oblíbených benchmarkových testech zaměřených na medicínské úlohy. To znamená přesnější diagnostiku, lepší porozumění pacientovým potřebám a celkově efektivnější zdravotní péči.

Problém s lékařskou terminologií v prostředí AI

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely.  Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Nová kalifornská legislativa zdůrazňuje, proč lékaři zůst...

AI v medicíně: Jsou lékaři stále nepostradatelní?

Standardizované rámce pro hodnocení AI v medicíně: Klíčov...

Důležitost standardizované metodologie při testování AI v...

Podobnost lidského a strojového vnímání reality

Problém s lékařskou terminologií v prostředí AI