Blog

<h3>Význam lidského hodnocení a aplikace ''reasoning'' modelů v klinické medicíně</h3>Milí kolegové a příznivci moderních technologií ve zdravotnictví,v minulém díle jsme se věnovali standardizovaným rámcům. Dnes se zaměříme na roli lidského faktoru v hodnocení, a to i ve vztahu k novým reasoning modelům. 🧑‍⚖️Lidské hodnocení zůstává v oblasti evaluace velkých jazykových modelů (LLM) klíčové, neboť umožňuje zachytit jemné nuance a odhalit potenciální předsudky, které automatizované metriky často opomíjejí. Současně je však spojeno s inherentní subjektivitou, variabilitou úsudků a značnou časovou i finanční náročností, což komplikuje získání konzistentních a reprezentativních výsledků. [1] Tato problematika je obzvláště patrná v klinických aplikacích, kde standardní NLP benchmarky často nedokážou plně reflektovat specifické požadavky prostředí, a proto se lidské hodnocení i nadále považuje za zlatý standard. [2,3] 💡Příkladem důsledků nedostatečné kontroly je detekce COVID-19 z RTG snímků. Některé modely se naučily spoléhat na nediagnostické prvky, jako jsou nastavení přístroje či textové anotace, místo skutečných patologických změn v plicích. To vedlo k chybným závěrům a špatné přenositelnosti mezi nemocnicemi. Tento případ zdůrazňuje nutnost různorodých a reprezentativních dat, přísné validace a lidského dohledu, aby AI zaměřila svou analýzu na skutečně relevantní lékařské informace. [4] 💻 Aby bylo lidské hodnocení generovaných textů konzistentnější a objektivnější, vznikají nástroje jako HumanELY. Tento standardizovaný systém využívá Likertovu škálu a pět klíčových metrik (relevance, pokrytí, koherence, škodlivost a srovnání) k systematickému porovnání generovaného a referenčního textu. Tím snižuje subjektivní zkreslení a zajišťuje reprodukovatelnější výsledky. [5]. 📊S nástupem nové generace AI modelů, které disponují schopnostmi podobnými „chain-of-thought“ uvažování, se otevírají možnosti, jak dále podpořit a zpřesnit evaluaci LLM. Například systém VeriFact, představený ve stanfordsko-medicínské studii, nejenže dokáže automatizovaně ověřovat, zda generované klinické texty odpovídají informacím z elektronických zdravotních záznamů (EHR), ale zároveň detailně vysvětluje své rozhodovací procesy a poskytuje konkrétní důkazy k jednotlivým hodnocením. [6]To výrazně posouvá vztah člověk/stroj a umožňuje lékařům (v širším slova smyslu i anotátorům) ulehčit práci. (detailed evidence for every decision). ✨ Zatímco reasoning modely vykazují velmi dobré výsledky v situacích, kdy existuje benchmark, jejich přímá aplikace v klinické praxi stále vyžaduje pečlivou validaci a doplňkovou lidskou kontrolu, aby byla zajištěna bezpečnost a kvalita výsledků.Do budoucna mohou technologie, jako např. simulace na digitálních dvojčatech, vytvořit benchmark i pro klinické aplikace a umožnit širší využití těchto metod i v netechnických oborech. Nicméně tam zatím nejsme.Reference: [<a data-mce-href="https://toloka.ai/blog/evaluating-llms/#the-importance-of-evaluating-llms" href="https://toloka.ai/blog/evaluating-llms/#the-importance-of-evaluating-llms">1</a>] [<a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">2</a>] [<a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf" href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf">3</a>] [<a data-mce-href="https://www.nature.com/articles/s42256-021-00338-7" href="https://www.nature.com/articles/s42256-021-00338-7">4</a>] [<a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf" href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf">5</a>] [<a data-mce-href="https://arxiv.org/abs/2501.16672" href="https://arxiv.org/abs/2501.16672">6</a>]

Význam lidského hodnocení a aplikace ''reasoning'' modelů v klinické medicíně

<h3>Nová éra personalizované laserové korekce zraku? „Digitální dvojče“ v rukou AI</h3>Milí kolegové a příznivci inovací v oční chirurgii,laserová korekce zraku se ubírá novým, fascinujícím směrem. Podobně jako společnost NVIDIA vyvíjí digitální dvojčata („digital twins“) v oblasti modelů pro průmyslové simulace a robotiku, vstupují simulace i do medicíny, konkrétně refrakční chirurgie. Tyto virtuální modely slouží jako testovací subjekty pro umělou inteligenci (AI), která vybírá nejlepší možnou korekci pro daného pacienta.Technologie systémů, jako je Wavelight Plus InnovEyes od společnosti Alcon, představují nejen bezpečný, ale také vysoce personalizovaný přístup k refrakční chirurgii, což potvrzují recentní studie. [1] [2]Proč je tato tato technologi přínosná?AI a digital twin: Na základě měření je technologie schopna vytořit přesný 3D model oka, označovaný jako „eyevatar“. Tento model umožňuje simulovat různé možnosti korekce zraku a optimalizovat ablační profil pro opravu nejen dioptrických vad, ale i vyšších optických aberací.Chytré plánování: Díky umělé inteligenci systém přesně simuluje dráhu paprsků a navrhuje optimální korekci, přičemž zohledňuje nejen aktuální stav oka, ale i předpokládané změny během hojení.ZávěremZávěrem lze říci, že ray tracing a „digitální dvojčata“ představují revoluční pokrok, který umožňuje větší míru personalizace nejen laserové korekce.Dlouhodobým výsledkem by měla být vyšší kvalita vidění, rychlejší rekonvalescence a větší spokojenost pacientů.Držme si palce, aby tato technologie i nadále naplňovala svůj potenciál a posouvala hranice refrakční chirurgie i celého medicínského oboru.Reference: [<a data-mce-href="https://www.dovepress.com/ray-tracing-customization-in-myopic-and-myopic-astigmatism-lasik-treat-peer-reviewed-fulltext-article-OPTH" href="https://www.dovepress.com/ray-tracing-customization-in-myopic-and-myopic-astigmatism-lasik-treat-peer-reviewed-fulltext-article-OPTH">1</a>] [<a data-mce-href="https://www.vistaeyes.com.au/wp-content/uploads/2024/09/ray_tracing_guided_myopic_lasik__real_world.10.pdf" href="https://www.vistaeyes.com.au/wp-content/uploads/2024/09/ray_tracing_guided_myopic_lasik__real_world.10.pdf">2</a>]

Nová éra personalizované laserové korekce zraku? „Digitální dvojče“ v rukou AI

<h3>Nafukovací haptika ve VR rehabilitaci: proč řešit i jednoduchou dezinfekci</h3>Milí kolegové a fanoušci moderních technologií ve zdravotnictví,výzkumy potvrzují, že zapojení virtuální reality (VR) do rehabilitace dokáže zlepšit motivaci a výsledky pacientů. Jenže kromě imerze (jak moc nás VR „vtáhne“ do děje) a dalších intrinsic faktorů VR v nemocnicích a rehabilitačních zařízeních do hry vstupuje důležitý faktor: hygiena. Nasazování specializovaných haptických rukavic či obleků s komplikovanou elektronikou, které putují z ruky do ruky (nebo z těla na tělo) u různých pacientů, je náročné na dezinfekci a údržbu.Nejnovější prototyp z dílny Tohoku University a University of Calgary ukazuje, že existuje i alternativa, která kombinuje mobilní roboty a nafukovací „pytle“.💡 Jak to funguje?1. Pohybliví roboti s nafukovacími válci: Díky rychlému nafukování (ventilátor uvnitř robota) a pohybu robota po místnosti vzniká dotyková odezva ve správný čas a na správném místě.2. Snadná dezinfekce: Nafukovací povrch otřete nebo vyměníte – žádné složité součástky na čištění. 3. Bezpečnost a měkký kontakt: Nafukovací materiál snese tlak i opakované údery a zároveň nehrozí riziko poranění ostrými či tvrdými hranami. &nbsp;🔎 Proč je to důležité pro naši praxi?1. Eliminace bariér: Pacienti se nemusí zdlouhavě „zaplétat“ do haptických obleků; stačí jim brýle. 2. Hygiena na prvním místě: V nemocničním provozu nelze přenášet nedostatečně dezinfikované pomůcky mezi pacienty. Nafukovací VR řešení tento problém výrazně zjednodušuje. 3. Reálná zpětná vazba: Přestože materiál není zcela „jako“ lidská tkáň nebo pevná stěna, interakce je dostatečně přesná pro funkční trénink. Věřím, že podobné inovace ukazují cestu k odpovědnému a efektivnímu využití VR v rehabilitaci. Důraz na snadnou dezinfekci a bezpečnost znamená, že můžeme pacientům nabídnout pokročilé technologie bez kompromisů v hygieně či komfortu.Držme si palce, ať podobné koncepty brzy najdou reálné uplatnění přímo u lůžka našich pacientů.Reference: <a data-mce-href="https://dl.acm.org/doi/10.1145/3613904.3642069" href="https://dl.acm.org/doi/10.1145/3613904.3642069">[1]</a>, <a data-mce-href="https://dl.acm.org/doi/10.1145/3613904.3642069" href="https://dl.acm.org/doi/10.1145/3613904.3642069">[2]</a>

Nafukovací haptika ve VR rehabilitaci: proč řešit i jednoduchou dezinfekci

<h3>Dokáže AI předpovědět postup Alzheimerovy choroby?</h3>Milí kolegové a příznivci inovací v medicíně,rád bych se dnes podělil o skutečně zajímavou novinku ze světa umělé inteligence (AI) a neurologie. Nejnovější výzkum ukazuje, že AI může s úspěšností přesahující 78 % předpovědět, zda se u pacienta s lehkým kognitivním poškozením (MCI) rozvine do šesti let Alzheimerova choroba. Studie s podporou NIA (National Institute on Aging) byla publikována v prestižním časopise Alzheimer’s &amp; Dementia. Co se vlastně zkoumalo?1. Analýza přepisu řeči z kognitivních testů Tým z Boston University vyhodnocoval jazykovou strukturu řečových záznamů 166 účastníků Framingham Heart Study, u nichž byla diagnostikována MCI. 2. Rozdělení na dvě skupiny: - 90 pacientů, u nichž MCI progredovalo do Alzheimerovy choroby. - 76 pacientů, u nichž se onemocnění v daném období nestabilizovalo či nezhoršovalo. 3. Žádné hodnocení kvality hlasu: AI se v tomto výzkumu zaměřovala pouze na jazykovou strukturu (tedy co člověk říká, nikoli jak to říká). Nehodnotila se tedy intonace, rychlost řeči ani jiné vokální znaky. &nbsp;Jak se to promítne do praxe?1. Včasná intervence: Lékaři mohou na základě podrobné analýzy řečových vzorků identifikovat ohrožené pacienty a společně s rodinou nastavit preventivní kroky. 2. Nový diagnostický marker: Jazykové vyjádření rozšiřuje spektrum nástrojů vedle standardních metod a poskytuje lékařům možnost komplexnějšího hodnocení pacienta. &nbsp;Navzdory poměrně malému a geograficky homogennímu vzorku 166 účastníků tato studie naznačuje, že umělá inteligence má značný potenciál při včasné diagnostice Alzheimerovy choroby. Retrospektivní charakter a soustředění se pouze na obsah řeči (nikoliv její akustiku) omezují univerzální platnost výsledků, ale zároveň ukazují, že samotný text může být někdy silnějším prediktorem než běžné demografické údaje.Autoři studie použili křížovou validaci, aby otestovali robustnost svých modelů, avšak pro širší uplatnění a skutečné potvrzení výsledků budou potřeba rozsáhlejší prospektivní studie napříč různými lokalitami. Přesto je tato metoda slibná – v kombinaci s dalšími biomarkery by se mohla stát cenově dostupným a efektivním testem pomáhajícím včas odhalit Alzheimerovu chorobu a zvýšit šanci na úspěšnou léčbu.Reference: <a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/38924662/" href="https://pubmed.ncbi.nlm.nih.gov/38924662/" data-mce-selected="inline-boundary">[1]</a>

Dokáže AI předpovědět postup Alzheimerovy choroby?

<h3>Nová kalifornská legislativa zdůrazňuje, proč lékaři zůstanou „gatekeepeři“ i v éře AI</h3>Milí kolegové a příznivci moderních technologií v medicíně,nejnovější krok Kalifornie potvrzuje, že lékařská expertiza zůstává naprosto zásadní. Zákon s označením „Physicians Make Decisions Act“ (Senate Bill 1120) totiž od ledna 2025 zakazuje zdravotním pojišťovnám rozhodovat o zamítnutí či odkladu pojišťovacích nároků výlučně na základě algoritmů umělé inteligence.&nbsp; 💡Co se mění? AI nemůže být jediným faktorem pro zamítnutí: Pojišťovny musí vždy zapojit lidský pohled, aby nedocházelo k nelogickým či necitlivým zamítnutím péče. Striktní lhůty: Standardní žádosti musejí být vyřízeny do 5 pracovních dnů, urgentní do 72 hodin a retrospektivní revize do 30 dnů, což zvyšuje odpovědnost pojišťoven a snižuje stres pacientů. Zachování role lékaře: AI není zakázána, ale zákon posiluje lékařskou autoritu a zohledňuje komplexitu pacientů, kterou algoritmy nedokážou vždy uchopit. Inspirace pro ostatní státy: Kalifornie vysílá signál, že nasazení AI v citlivých oblastech, jako je zdravotní pojištění, se neobejde bez jasných etických a právních mantinelů. &nbsp;🔎Proč je to důležité pro naši praxi?V nedávném novoročním poselství jsem zdůrazňoval, že lékař nebude nahrazen AI – naopak se stane klíčovým prvkem v jejím trénování a dohledu. Moderní modely jako O3 (s tzv. „Chain-of-Thought“ přístupem) mají obrovský potenciál zlepšovat péči, avšak v oborech, kde je třeba zohlednit komplexnost a individualitu pacienta, je lidský úsudek nenahraditelný.Kalifornský zákon tak v praxi dokládá, proč lékař zůstává „gatekeeperem“: lékař je jediný, kdo dokáže zasadit výstup AI do kontextu konkrétního pacienta a vzít v potaz nejistotu či pravděpodobnostní rozměr diagnózy.Věřím, že tato legislativa ukazuje směrem k zodpovědnému využití umělé inteligence, které neohrožuje lékařsko-pacientský vztah, ale naopak jej posiluje. A pokud se k podobným krokům odhodlají i další státy, může to být důležitý mezník pro budoucnost etického a efektivního nasazení AI v medicíně.Držme si palce, abychom tuto cestu zvládli s co největším přínosem pro všechny pacienty.Reference: <a data-mce-href="https://www.mercurynews.com/2025/01/05/new-california-law-ban-artificial-intelligence-deny-insurance-claims/" href="https://www.mercurynews.com/2025/01/05/new-california-law-ban-artificial-intelligence-deny-insurance-claims/">[1]</a>

Nová kalifornská legislativa zdůrazňuje, proč lékaři zůstanou „gatekeepeři“ i v éře AI

Milí kolegové a příznivci moderní medicíny,jistě jste v poslední době zaznamenali představení nového modelu OpenAI, označovaného jako O3. Rád bych této události využil k prezentaci své vize budoucnosti AI v medicíně a naznačil, jakou roli v ní budou hrát lékaři.Zásadním rozdílem oproti klasickému GPT-4 je, že namísto pouhého generování jedné odpovědi O3 (a další modely ze série O) vytváří mnoho kandidátních řešení, tzv. řetězců myšlenek (Chain-of-Thought, CoT). Tato řešení jsou hodnocena verifikačním modelem, který hledá chyby v logice či výpočtech. V některých případech se pak vybere tzv. konsenzuální nebo nejčastější odpověď.Pokud model sestaví správnou sekvenci kroků vedoucí k ověřené odpovědi, může se na základě těchto mezikroků doladit (fine-tuning), čímž posiluje svou schopnost generovat řetězce úvah, které vedou ke správným výsledkům správným postupem. Tento proces, známý jako reinforcement learning (RL), umožňuje modelu učit se preferovat správné myšlenkové postupy (reasoning). Díky automatickému ověřování generovaných odpovědí jde o velmi efektivní způsob zlepšování, což dokazuje model O3, jenž dosáhl významných výsledků – například 25 % přesnosti v benchmarku FrontierMath oproti méně než 2 % u předchozích modelů. V rámci implementací RL u těchto modelů rozlišujeme dva hlavní přístupy:1. Outcome supervision – Model se učí na základě výsledku, což dobře funguje u úloh s jasně definovanou správnou odpovědí (např. matematika, programování).2. Process supervision – Experti hodnotí správnost jednotlivých kroků, čímž model postupně zdokonaluje svou logiku. Doposud jsme popisovali přístup číslo 1, který je ideální tam, kde lze správnost odpovědí objektivně a snadno ověřit. Model se dokáže rychle poučit ze svých výsledků a efektivně upravit svou vnitřní logiku – právě díky vysoké míře automatizace je tento postup velmi lákavý.Pro medicínu a přírodní vědy však přichází na řadu spíše přístup číslo 2. V těchto oborech řešíme diagnózy, výskyt symptomů a doprovodných projevů i prognózy s určitou pravděpodobností, a to s přihlédnutím ke komplexnosti a individualitě našich pacientů. V medicíně se proto někdy obrazně říká, že „je možné téměř všechno“. Klíčovou roli zde hraje nejen lékařská zkušenost a znalost medicíny, ale také jistá dávka intuice. Výstupy umělé inteligence proto nelze hodnotit tak exaktně jako v matematice či programování, a z toho důvodu je nezbytné, aby byl lékař součástí nejen trénování, ale i samotné aplikace modelu v praxi. Moje novoroční poselství zní: Lékaři se nemusí obávat, že je umělá inteligence nahradí. Naopak věřím, že lékař zůstane klíčovým prvkem nejen při trénování a zavádění AI do klinické praxe, ale také při její každodenní aplikaci v běžném provozu. Jako „gatekeeper“ bude lékař tím, kdo dokáže výstupy umělé inteligence zasadit do kontextu komplexní a individuální péče o pacienta.

AI v medicíně: Jsou lékaři stále nepostradatelní?

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely v naší prezentaci. Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Význam lidského hodnocení a aplikace ''reasoning'' modelů...

Nová éra personalizované laserové korekce zraku? „Digitál...

Nafukovací haptika ve VR rehabilitaci: proč řešit i jedno...

Dokáže AI předpovědět postup Alzheimerovy choroby?

Nová kalifornská legislativa zdůrazňuje, proč lékaři zůst...

AI v medicíně: Jsou lékaři stále nepostradatelní?