Blog

<h3>Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení 🩺</h3>V minulém díle jsme se bavili o tom, že umělá inteligence (AI) je mladá technologie, jejíž adopce probíhá někdy až velmi rychle. Stále však chybí konsenzus ohledně účinných metod hodnocení těchto aplikací. Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Místo nich se setkáváme především s obecnými rámci (frameworky).Crossnohere a kol. (1) se tímto problémem zabývali a identifikovali existující rámce, které usměrňují používání a hodnocení AI. Analýza čtrnácti těchto rámců odhalila pět klíčových aspektů:🌐 Transparentnost&nbsp;Transparentnost zahrnuje nejen možnost sledovat, jak AI dospěla k určitému výsledku, včetně míry jistoty dané interpretace, ale také celý proces vývoje, validace a následného dohledu.🔄 Reprodukovatelnost&nbsp;Výsledky AI musí být ověřitelné v různých podmínkách. Princip „stejné vstupy = stejné výsledky“ zajišťuje vědeckou přesnost a umožňuje nezávislé ověření.⚖️ Etika&nbsp;Respekt k pacientům, spravedlivé zastoupení a ochrana soukromí jsou klíčovými principy, které musí být zohledněny ve všech fázích vývoje i implementace AI.💡 EfektivitaAI musí mít reálný přínos pro klinickou praxi, například zlepšovat diagnózy, šetřit čas lékařů nebo snižovat náklady. Efektivita zahrnuje také zajištění kvality dat a adaptabilitu modelů na různá prostředí.👥 Zapojení a dohled&nbsp;Aktivní zapojení zdravotníků, pacientů a kontinuální monitoring AI systémů během jejich vývoje a testování zajišťují, že výsledné technologie odpovídají reálným potřebám a očekáváním. Průběžné sledování navíc garantuje, že systémy zůstávají bezpečné, spolehlivé a aktuální.(Tato oblast je dle studie nejvíce opomíjená.) 🔍 Co si z toho odnést?Rámce identifikované v této studii poskytují důležitý základ pro hodnocení a implementaci AI v medicíně, ale také odhalují mezery, zejména v oblastech dlouhodobého dohledu a zapojení uživatelů.&nbsp;Pro zajištění reálného přínosu a bezpečnosti AI je nezbytné zaměřit se na všechny klíčové aspekty, a to od transparentnosti přes etiku až po efektivitu.V rámci adopce samotné technologie je, kromě zmíněných rámců, technických standardů, testování a metrik, klíčová také důkladná edukace a školení zdravotnických profesionálů. Tyto kroky jim umožní technologii efektivně a odpovědně využívat. (2)Reference: [<a data-mce-href="https://www.jmir.org/2022/8/e36823" href="https://www.jmir.org/2022/8/e36823">1</a>], [<a data-mce-href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf">2</a>]

Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení

<h3>Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE 🩻</h3>Jakmile se umělá inteligence (AI) začne používat v klinické praxi, nastupuje otázka: Jak tuto AI spravedlivě a objektivně otestovat, aby opravdu pomáhala a nepřinášela matoucí či neověřené výsledky?&nbsp;Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Spíše se setkáváme s obecnými rámci (frameworky).V dalších dílech se zaměříme na testování AI v medicíně obecně. Dnes však představím recentní studii „ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation“, která se zabývá standardizovaným testováním pomocí benchmarků a tabulek porovnávajících různé AI modely podle jejich schopnosti generovat radiologické zprávy.Standardizované hodnocení díky ReXrank 🩺Studie představuje benchmark – sadu nástrojů, které umožňují testovat modely na jednotné sadě dat pomocí široké škály metrik. Například metrika RadCliQ zohledňuje jak textovou podobnost, tak klinickou přesnost. Hodnotí, jak blízko je výstup AI zprávě lékaře a nakolik je informace z klinického hlediska správná.&nbsp;Nejde tedy jen o to, aby výstup "zní správně", ale aby skutečně správný byl.K testování využívá komplexní dataset (veřejné i soukromé datové sady), který vhodně reprezentuje různá zdravotnická zařízení, modality a přístroje. Tento přístup pomáhá zjistit, zda si model poradí i s neznámým prostředím či odlišnou demografií pacientů. Bez takové diverzity dat hrozí, že model bude fungovat jen „domacím pracovišti“ a nikde jinde.Tento přístup poskytuje jednotný rámec pro porovnávání výkonu modelů, bez ohledu na to, jakou strategii využívají, což je v medicíně klíčové. Pokud by každý tým testoval AI na odlišných snímcích a s jinými metrikami, nebylo by možné určit, který model je skutečně lepší nebo vhodnější pro praxi.Další zajímavosti z této studie:Problém s interpretací nálezů: Beyond picture 🧠AI modely pro generování radiologických zpráv už neslouží jen k rozpoznávání lézí na snímcích, ale snaží se vytvořit kompletní lékařskou zprávu, včetně klíčové části „impression“. Právě tato část představuje pro AI unikátní výzvu, protože vyžaduje tzv. higher reasoning a klinické znalosti, které přesahují rámec pouhého popisu obrazu. V této oblasti však AI stále zaostává.Tato omezení zdůrazňují, že pro další pokrok v této oblasti není dostačující pouze zlepšování schopnosti analýzy obrazu. Klíčovým krokem bude naučit AI chápat klinické souvislosti a vytvářet smysluplné závěry, které odpovídají úrovni lidského uvažování a odborného úsudku. To je zásadní nejen pro efektivní interpretaci snímků, ale i pro skutečné porozumění klinickému kontextu.Praktický dopad 🏆 Standardizovaný testovací rámec pomůže lékařům, vývojářům i regulátorům lépe hodnotit AI v medicíně. Výsledkem je rychlejší a bezpečnější integrace do klinické praxe, kde budou lékaři vědět, že se na AI mohou skutečně spolehnout.Reference: [<a data-mce-href="https://arxiv.org/abs/2411.15122" href="https://arxiv.org/abs/2411.15122" data-mce-selected="inline-boundary">1</a>]

Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE

<h3>Podobnost lidského a strojového vnímání reality</h3>Už jste někdy viděli obličej v mracích nebo ve vzoru na toastu? Nejste sami! Tento fenomén se nazývá pareidolie a je hluboce zakořeněný v našem lidském vnímání.Pareidolie: Když mozek hraje hry 🧠Pareidolie je psychologický jev, při kterém náš mozek vidí známé tvary nebo vzory tam, kde ve skutečnosti nejsou. Evolučně nám tato schopnost pomáhala přežít—rychlé rozpoznání obličejů nebo predátorů mohlo znamenat rozdíl mezi životem a smrtí. Mozek upřednostňuje "citlivost nad selektivitou", což znamená, že raději uvidí obličej tam, kde není, než aby nějaký přehlédl.Stroje se učí vidět jako my 🤖Výzkumný tým z MIT CSAIL vytvořil dataset nazvaný Faces in Things, který obsahuje přes 5 000 obrázků, kde lidé vnímají tváře v neživých objektech. Cílem bylo zjistit, zda mohou AI modely naučit rozpoznávat tyto pareidolické tváře stejně jako lidé.Evoluční kořeny v algoritmech 🌳Zajímavé je, že AI modely samy o sobě nedokázaly pareidolické tváře rozpoznat. Po tréninku na zvířecích tvářích se však jejich schopnost detekce výrazně zlepšila. To naznačuje, že stejně jako u lidí může i u strojů hrát roli „evoluční“ princip. Jinými slovy, modely trénované na různorodých datech (včetně zvířat) lépe napodobují tuto schopnost generalizace.Proč je to důležité? 💡<ul><li>Vylepšení AI systémů: Zlepšení detekce obličejů a snížení falešně pozitivních výsledků může mít dopad na oblasti jako autonomní vozidla, interakce člověk-stroj.</li><li>Psychofyzikální studie: Nové nástroje pro zkoumání lidské vizuální pozornosti a zaujatosti.</li><li>Kreativní aplikace: Automatická optimalizace designu umožňuje vytvářet produkty, které působí přátelštěji a atraktivněji – například automobily, dětské hračky nebo lékařské přístroje, jež díky tomu mohou působit méně hrozivě a více přívětivě.</li></ul>Podobnost mezi lidským a strojovým vnímáním reality tedy není jen fascinující spojení těchto dvou světů, ale také je plná potenciálu pro inovace.Reference: <a data-mce-href="https://arxiv.org/pdf/2409.16143" href="https://arxiv.org/pdf/2409.16143">[1]</a>

Podobnost lidského a strojového vnímání reality

<h3>Problém s lékařskou terminologií v prostředí AI</h3>Představte si, že máte model, který brilantně analyzuje filmové recenze nebo odpovídá na obecné otázky. Ale když přijde na medicínská data, začne tápat. Proč? Protože medicínská terminologie je plná specifických zkratek a kontextů, které jsou klíčové pro správné porozumění.Například zkratka "ALS" označuje amyotrofickou laterální sklerózu, vážné neurologické onemocnění. Ale obecný model by mohl tuto zkratku interpretovat naprosto chybně – možná by si myslel, že jde o název nějakého sportovního klubu nebo dokonce novou technologickou firmu! Pojďme si uvést příklad, jak se dá tento typ problému řešit. 🎯Jemné doladění (Fine-tuning) 💻Jak zajistit, aby model správně rozuměl „medicínskému jazyku“? Klíčem je jemné doladění, známé také jako fine-tuning (v tomto případě embeddingových modelů). Tento proces spočívá v dotrénování modelu na menším, specializovaném zdroji dat zaměřeném na medicínskou terminologii. Je to podobné, jako kdybyste poslali váš model na lékařskou fakultu, aby se naučil mluvit jazykem lékařů. 🎓Kontrastní ztráta (Contrastive Loss) ⚖️Kontrastní ztráta trénuje model tak, aby rozpoznával jemné rozdíly. Funguje to tak, že modelu předložíte dotaz, správnou odpověď a rušivou (nesprávnou) odpověď. Tím se model učí rozlišovat mezi tím, co je správné a co ne, což zlepšuje jeho přesnost a schopnost poskytovat relevantní výsledky.Představte si, že učíte model rozeznávat ručně psané číslice: ukážete mu obrázek čísla „5“ (dotaz), potvrdíte, že je to opravdu „5“ (správná odpověď), a zároveň mu ukážete obrázek „6“ (rušivá odpověď). Porovnáním „5“ a „6“ se model naučí rozeznávat jemné rozdíly mezi nimi.Využití syntetických dat 🧪Ale kde vzít dostatek kvalitních medicínských dat? V procesu trénování medicínské AI je potřeba používat spolehlivé zdroje zdravotních informací (například z PubMedu…), ale lze také využít vygenerovaná „syntetická data“ pomocí modelů, jako je například Llama, které vycházejí z těchto dat.Výsledky mluví za vše 📈Takto doladěné modely často překonávají i mnohem větší modely v oblíbených benchmarkových testech zaměřených na medicínské úlohy. To znamená přesnější diagnostiku, lepší porozumění pacientovým potřebám a celkově efektivnější zdravotní péči.

Problém s lékařskou terminologií v prostředí AI

<h3>Umělá inteligence v medicíně: Od potenciálu k praxi 🚀</h3>Dnes často slyšíme, že AI dokáže vyřešit největší problémy zdravotnictví. Zdá se, že tento potenciál skutečně existuje. Ovšem zorientovat se nejen ve širokém pojmu "umělá inteligence (AI)", ale také v komplexních a ambiciózních projektech s ní často spojených, je náročné.Problém těchto přístupů je, že mnohdy přehlížejí zdánlivé drobnosti, které však mohou mít zásadní vliv na každodenní lékařskou praxi.&nbsp;Jedním z příkladů praktického využití AI je tato malá skandinávská studie, která demonstruje, v čem je AI skvělá (v tomto případě LLM) – konkrétně v sumarizaci a generování textu. Studie ukazuje, jak AI může zjednodušit klinické kódování, tedy převod lékařské dokumentace do standardizovaných kódů ICD-10 (MKN-10). 💡🔍 Klíčová zjištění:<ul><li>Nástroj Easy-ICD (na bázi AI) zkrátil dobu potřebnou pro kódování komplexních lékařských zpráv o 46 %.</li><li>Ačkoli se přesnost jen mírně zvýšila, výsledky potvrzují, že asistivní technologie může lékařům ulehčit administrativní zátěž a přispět k přechodu na nové standardy, jako je ICD-11.</li></ul>V našich podmínkách si podobné technologie lze mimo jiné snadno představit i při vykazování kódů pojišťovně.&nbsp;Tohle je jeden z mnoha kroků, jak může AI přinést praktické zlepšení zdravotní péče do každodenní a běžné praxe lékařů.Reference: https://arxiv.org/pdf/2410.23725

Umělá inteligence v medicíně: Od potenciálu k praxi

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)</h3><h3>Multidisciplinární přístup a ‘‘Advanced reasoning‘‘: možnosti a omezení</h3>V předchozích dílech jsme se zabývali možnostmi a omezeními RAG (Retrieval-Augmented Generation) a optimalizací generování textu pomocí různých strategií. Další významnou výzvou v multidisciplinárním přístupu je uvažování neboli reasoning ve velkých jazykových modelech (LLM).🧠 Schopnosti uvažování velkých jazykových modelůVelké jazykové modely (LLM) prokázaly určitý stupeň schopnosti uvažování nejen v medicínském kontextu. Jako příklad si uveďme studii demonstrující jejich schopnosti u lékařských zkoušek pro neurology (Neurology Board-Style Examination), kde modely jako GPT-3.5 a GPT-4 dokázaly překonat lidské účastníky. Konkrétně GPT-4 dosáhl 85% úspěšnosti, čímž překonal GPT-3.5 (66,8 %) i lidské účastníky testu (73,8 %). I když GPT-4 exceloval v úlohách nižšího kognitivního řádu, jako je zapamatování a porozumění, měl potíže s úlohami vyššího řádu, které vyžadují aplikaci znalostí, hlubší analýzu a syntézu informací. Přesto studie naznačuje potenciál GPT-4 v klinické neurologii a naznačuje, že s dalším zdokonalením by LLM mohly významně ovlivnit lékařské vzdělávání a praxi (1).LLM také vykazují slibné výsledky i v jiných medicínských disciplínách, například při skládání zkoušek typu United States Medical Licensing Examination (2,3).🔎 Omezení uvažování v LLMJe však důležité si uvědomit, že v situacích, které vyžadují řešení složitých úloh, abstrakci nebo setkání se scénáři, které nejsou obsaženy v trénovacích datech, mají LLM tendenci selhávat. Toto omezení naznačuje, že tyto modely jsou více zaměřeny na napodobování uvažování než na skutečné projevy schopnosti uvažování.Například modely jako GPT-4 mají potíže s autonomním vytvářením správných plánů samostatně. Představte si jednoduchou hru s kostkami nazvanou Blocksworld, kde je cílem přesunout bloky z jednoho uspořádání do jiného pomocí série kroků. V této situaci dosáhl GPT-4 úspěšnosti pouze kolem 34 %, což ukazuje na významná omezení v jeho schopnosti plánovat bez vnější pomoci. Když vědci úkol ještě ztížili tím, že skryli názvy akcí (v tzv. "mystery Blocksworld"), výkon modelu se dále zhoršil. To naznačuje, že model se spíše spoléhá na rozpoznávání vzorů než na skutečné logické uvažování—a má tedy potíže s abstraktním myšlením. (4)🚀 Budoucí směřování a možnosti zlepšeníNavzdory pokroku ve vývoji velkých jazykových modelů (LLM) současné studie jasně ukazují, že modely ještě nejsou připraveny zvládnout složité vícekrokové úlohy, jako je například plánování cest. Pro tyto účely byl vytvořen praktický benchmark simulující plánování cest ve stylu cestovní kanceláře nazvaný TravelPlanner, který dokazuje, že i pokročilé modely, jako je GPT-4, dosahují v této aplikaci míry úspěšnosti pouze 0,6 %. Běžné problémy, jako jsou chybný úsudek, nesprávné vyhledávání informací a halucinace, se často objevují, když jsou LLM tlačeny za hranice svých současných schopností. Přestože tyto modely vykazují značný potenciál, jejich nasazení v reálných scénářích zahrnujících složité a vícekrokové úkoly zůstává velmi omezené (5).S ohledem na současný pokrok, zejména v jednodušších úlohách, věříme, že kombinace těchto technologií s dalším výzkumem v oblastech, jako je "mixture of agents" a s pokroky, jako jsou pokročilejší aplikace "chain of thought" demonstrované v ChatGPT o1-preview, by mohla nakonec odemknout jejich potenciál pro praktické aplikace ve složitějších úlohách.Reference: <a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">[1]</a>, <a data-mce-href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205" href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205">[2]</a>, <a data-mce-href="https://mededu.jmir.org/2023/1/e45312" href="https://mededu.jmir.org/2023/1/e45312">[3]</a>, <a data-mce-href="https://arxiv.org/pdf/2305.15771" href="https://arxiv.org/pdf/2305.15771">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2402.01622" href="https://arxiv.org/pdf/2402.01622" data-mce-selected="inline-boundary">[5]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely v naší prezentaci. Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Standardizované rámce pro hodnocení AI v medicíně: Klíčov...

Důležitost standardizované metodologie při testování AI v...

Podobnost lidského a strojového vnímání reality

Problém s lékařskou terminologií v prostředí AI

Umělá inteligence v medicíně: Od potenciálu k praxi

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...