Blog

<h3>Podobnost lidského a strojového vnímání reality</h3>Už jste někdy viděli obličej v mracích nebo ve vzoru na toastu? Nejste sami! Tento fenomén se nazývá pareidolie a je hluboce zakořeněný v našem lidském vnímání.Pareidolie: Když mozek hraje hry 🧠Pareidolie je psychologický jev, při kterém náš mozek vidí známé tvary nebo vzory tam, kde ve skutečnosti nejsou. Evolučně nám tato schopnost pomáhala přežít—rychlé rozpoznání obličejů nebo predátorů mohlo znamenat rozdíl mezi životem a smrtí. Mozek upřednostňuje "citlivost nad selektivitou", což znamená, že raději uvidí obličej tam, kde není, než aby nějaký přehlédl.Stroje se učí vidět jako my 🤖Výzkumný tým z MIT CSAIL vytvořil dataset nazvaný Faces in Things, který obsahuje přes 5 000 obrázků, kde lidé vnímají tváře v neživých objektech. Cílem bylo zjistit, zda mohou AI modely naučit rozpoznávat tyto pareidolické tváře stejně jako lidé.Evoluční kořeny v algoritmech 🌳Zajímavé je, že AI modely samy o sobě nedokázaly pareidolické tváře rozpoznat. Po tréninku na zvířecích tvářích se však jejich schopnost detekce výrazně zlepšila. To naznačuje, že stejně jako u lidí může i u strojů hrát roli „evoluční“ princip. Jinými slovy, modely trénované na různorodých datech (včetně zvířat) lépe napodobují tuto schopnost generalizace.Proč je to důležité? 💡<ul><li>Vylepšení AI systémů: Zlepšení detekce obličejů a snížení falešně pozitivních výsledků může mít dopad na oblasti jako autonomní vozidla, interakce člověk-stroj.</li><li>Psychofyzikální studie: Nové nástroje pro zkoumání lidské vizuální pozornosti a zaujatosti.</li><li>Kreativní aplikace: Automatická optimalizace designu umožňuje vytvářet produkty, které působí přátelštěji a atraktivněji – například automobily, dětské hračky nebo lékařské přístroje, jež díky tomu mohou působit méně hrozivě a více přívětivě.</li></ul>Podobnost mezi lidským a strojovým vnímáním reality tedy není jen fascinující spojení těchto dvou světů, ale také je plná potenciálu pro inovace.Reference: <a data-mce-href="https://arxiv.org/pdf/2409.16143" href="https://arxiv.org/pdf/2409.16143">[1]</a>

Podobnost lidského a strojového vnímání reality

<h3>Problém s lékařskou terminologií v prostředí AI</h3>Představte si, že máte model, který brilantně analyzuje filmové recenze nebo odpovídá na obecné otázky. Ale když přijde na medicínská data, začne tápat. Proč? Protože medicínská terminologie je plná specifických zkratek a kontextů, které jsou klíčové pro správné porozumění.Například zkratka "ALS" označuje amyotrofickou laterální sklerózu, vážné neurologické onemocnění. Ale obecný model by mohl tuto zkratku interpretovat naprosto chybně – možná by si myslel, že jde o název nějakého sportovního klubu nebo dokonce novou technologickou firmu! Pojďme si uvést příklad, jak se dá tento typ problému řešit. 🎯Jemné doladění (Fine-tuning) 💻Jak zajistit, aby model správně rozuměl „medicínskému jazyku“? Klíčem je jemné doladění, známé také jako fine-tuning (v tomto případě embeddingových modelů). Tento proces spočívá v dotrénování modelu na menším, specializovaném zdroji dat zaměřeném na medicínskou terminologii. Je to podobné, jako kdybyste poslali váš model na lékařskou fakultu, aby se naučil mluvit jazykem lékařů. 🎓Kontrastní ztráta (Contrastive Loss) ⚖️Kontrastní ztráta trénuje model tak, aby rozpoznával jemné rozdíly. Funguje to tak, že modelu předložíte dotaz, správnou odpověď a rušivou (nesprávnou) odpověď. Tím se model učí rozlišovat mezi tím, co je správné a co ne, což zlepšuje jeho přesnost a schopnost poskytovat relevantní výsledky.Představte si, že učíte model rozeznávat ručně psané číslice: ukážete mu obrázek čísla „5“ (dotaz), potvrdíte, že je to opravdu „5“ (správná odpověď), a zároveň mu ukážete obrázek „6“ (rušivá odpověď). Porovnáním „5“ a „6“ se model naučí rozeznávat jemné rozdíly mezi nimi.Využití syntetických dat 🧪Ale kde vzít dostatek kvalitních medicínských dat? V procesu trénování medicínské AI je potřeba používat spolehlivé zdroje zdravotních informací (například z PubMedu…), ale lze také využít vygenerovaná „syntetická data“ pomocí modelů, jako je například Llama, které vycházejí z těchto dat.Výsledky mluví za vše 📈Takto doladěné modely často překonávají i mnohem větší modely v oblíbených benchmarkových testech zaměřených na medicínské úlohy. To znamená přesnější diagnostiku, lepší porozumění pacientovým potřebám a celkově efektivnější zdravotní péči.

Problém s lékařskou terminologií v prostředí AI

<h3>Umělá inteligence v medicíně: Od potenciálu k praxi 🚀</h3>Dnes často slyšíme, že AI dokáže vyřešit největší problémy zdravotnictví. Zdá se, že tento potenciál skutečně existuje. Ovšem zorientovat se nejen ve širokém pojmu "umělá inteligence (AI)", ale také v komplexních a ambiciózních projektech s ní často spojených, je náročné.Problém těchto přístupů je, že mnohdy přehlížejí zdánlivé drobnosti, které však mohou mít zásadní vliv na každodenní lékařskou praxi.&nbsp;Jedním z příkladů praktického využití AI je tato malá skandinávská studie, která demonstruje, v čem je AI skvělá (v tomto případě LLM) – konkrétně v sumarizaci a generování textu. Studie ukazuje, jak AI může zjednodušit klinické kódování, tedy převod lékařské dokumentace do standardizovaných kódů ICD-10 (MKN-10). 💡🔍 Klíčová zjištění:<ul><li>Nástroj Easy-ICD (na bázi AI) zkrátil dobu potřebnou pro kódování komplexních lékařských zpráv o 46 %.</li><li>Ačkoli se přesnost jen mírně zvýšila, výsledky potvrzují, že asistivní technologie může lékařům ulehčit administrativní zátěž a přispět k přechodu na nové standardy, jako je ICD-11.</li></ul>V našich podmínkách si podobné technologie lze mimo jiné snadno představit i při vykazování kódů pojišťovně.&nbsp;Tohle je jeden z mnoha kroků, jak může AI přinést praktické zlepšení zdravotní péče do každodenní a běžné praxe lékařů.Reference: https://arxiv.org/pdf/2410.23725

Umělá inteligence v medicíně: Od potenciálu k praxi

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)</h3><h3>Multidisciplinární přístup a ‘‘Advanced reasoning‘‘: možnosti a omezení</h3>V předchozích dílech jsme se zabývali možnostmi a omezeními RAG (Retrieval-Augmented Generation) a optimalizací generování textu pomocí různých strategií. Další významnou výzvou v multidisciplinárním přístupu je uvažování neboli reasoning ve velkých jazykových modelech (LLM).🧠 Schopnosti uvažování velkých jazykových modelůVelké jazykové modely (LLM) prokázaly určitý stupeň schopnosti uvažování nejen v medicínském kontextu. Jako příklad si uveďme studii demonstrující jejich schopnosti u lékařských zkoušek pro neurology (Neurology Board-Style Examination), kde modely jako GPT-3.5 a GPT-4 dokázaly překonat lidské účastníky. Konkrétně GPT-4 dosáhl 85% úspěšnosti, čímž překonal GPT-3.5 (66,8 %) i lidské účastníky testu (73,8 %). I když GPT-4 exceloval v úlohách nižšího kognitivního řádu, jako je zapamatování a porozumění, měl potíže s úlohami vyššího řádu, které vyžadují aplikaci znalostí, hlubší analýzu a syntézu informací. Přesto studie naznačuje potenciál GPT-4 v klinické neurologii a naznačuje, že s dalším zdokonalením by LLM mohly významně ovlivnit lékařské vzdělávání a praxi (1).LLM také vykazují slibné výsledky i v jiných medicínských disciplínách, například při skládání zkoušek typu United States Medical Licensing Examination (2,3).🔎 Omezení uvažování v LLMJe však důležité si uvědomit, že v situacích, které vyžadují řešení složitých úloh, abstrakci nebo setkání se scénáři, které nejsou obsaženy v trénovacích datech, mají LLM tendenci selhávat. Toto omezení naznačuje, že tyto modely jsou více zaměřeny na napodobování uvažování než na skutečné projevy schopnosti uvažování.Například modely jako GPT-4 mají potíže s autonomním vytvářením správných plánů samostatně. Představte si jednoduchou hru s kostkami nazvanou Blocksworld, kde je cílem přesunout bloky z jednoho uspořádání do jiného pomocí série kroků. V této situaci dosáhl GPT-4 úspěšnosti pouze kolem 34 %, což ukazuje na významná omezení v jeho schopnosti plánovat bez vnější pomoci. Když vědci úkol ještě ztížili tím, že skryli názvy akcí (v tzv. "mystery Blocksworld"), výkon modelu se dále zhoršil. To naznačuje, že model se spíše spoléhá na rozpoznávání vzorů než na skutečné logické uvažování—a má tedy potíže s abstraktním myšlením. (4)🚀 Budoucí směřování a možnosti zlepšeníNavzdory pokroku ve vývoji velkých jazykových modelů (LLM) současné studie jasně ukazují, že modely ještě nejsou připraveny zvládnout složité vícekrokové úlohy, jako je například plánování cest. Pro tyto účely byl vytvořen praktický benchmark simulující plánování cest ve stylu cestovní kanceláře nazvaný TravelPlanner, který dokazuje, že i pokročilé modely, jako je GPT-4, dosahují v této aplikaci míry úspěšnosti pouze 0,6 %. Běžné problémy, jako jsou chybný úsudek, nesprávné vyhledávání informací a halucinace, se často objevují, když jsou LLM tlačeny za hranice svých současných schopností. Přestože tyto modely vykazují značný potenciál, jejich nasazení v reálných scénářích zahrnujících složité a vícekrokové úkoly zůstává velmi omezené (5).S ohledem na současný pokrok, zejména v jednodušších úlohách, věříme, že kombinace těchto technologií s dalším výzkumem v oblastech, jako je "mixture of agents" a s pokroky, jako jsou pokročilejší aplikace "chain of thought" demonstrované v ChatGPT o1-preview, by mohla nakonec odemknout jejich potenciál pro praktické aplikace ve složitějších úlohách.Reference: <a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">[1]</a>, <a data-mce-href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205" href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205">[2]</a>, <a data-mce-href="https://mededu.jmir.org/2023/1/e45312" href="https://mededu.jmir.org/2023/1/e45312">[3]</a>, <a data-mce-href="https://arxiv.org/pdf/2305.15771" href="https://arxiv.org/pdf/2305.15771">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2402.01622" href="https://arxiv.org/pdf/2402.01622" data-mce-selected="inline-boundary">[5]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)

Medical technology concept. Electronic medical record.

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)</h3><h3>Multidisciplinární přístup a RAG: možnosti a omezení</h3>🧠 Multidisciplinární přístup pomocí RAGKoncept Retrieval-Augmented Generation (RAG) představuje zajímavou možnost integrace poznatků různých lékařských oborů. Tato metoda umožňuje využít znalosti nejen chirurgických oborů (neurochirurgie, všeobecná chirurgie atd.), ale také znalosti interních oborů či dalších odborností, což může vést k poskytování komplexnějších výstupů vycházejících z průniku těchto disciplín. RAG kombinuje schopnosti velkých jazykových modelů se schopností napojit se na externí databáze a poskytovat tak aktuální a široké informace, čímž může lépe podporovat multidisciplinární a holistický přístup v medicíně.🔎 Omezení integrace s RAGI když RAG nabízí značný potenciál pro aplikace v medicíně, čelí také inherentním omezením. Zatímco velké jazykové modely (LLM) jsou trénovány na rozsáhlých datových sadách, které jim umožňují pochopit komplexní vztahy a kontexty na základě jejich interních dat, RAG se spoléhá na schopnost efektivně vyhledávat a integrovat relevantní informace z externích zdrojů. Zatímco tento přístup může nabídnout aktuální a specifické informace, jeho účinnost při zachycování kritických "intersekčních informací" z více zdrojů do značné míry závisí na kvalitě vyhledávacího (retrieval) procesu a také na kvalitě a aktuálnosti těchto zdrojů. Novější implementace RAG některé z těchto výzev řeší, technologie však stále naráží na omezení v určitých aspektech (viz díl 5).🚀 Optimalizace generování textuPřes výhody větších LLM mají i tyto sofistikované modely svá omezení. Například LLM obvykle spoléhají na strategii "greedy search" ve výchozím nastavení. Tato metoda vybírá v každém kroku token (slovo) s nejvyšší pravděpodobností, což může někdy vést k opakujícím se a suboptimálním sekvencím. Hlavním problémem je, že zatímco greedy přístup maximalizuje okamžitou pravděpodobnost, může přehlédnout lepší větné sekvence, které jsou skryty za nižšími počátečními pravděpodobnostmi.K řešení tohoto omezení se často využívá strategie "beam search". Beam search zlepšuje greedy přístup tím, že udržuje více hypotéz (tzv. "paprsků") v každém kroku a nakonec vybírá sekvenci s nejvyšší celkovou pravděpodobností. Tato metoda umožňuje paralelní prozkoumávání více možností, což vede k optimálnějšímu řešení vyvážením mezi průzkumem a využitím.Zatímco strategie jako top-K sampling a úprava temperature zavádějí do procesu generování náhodnost, což může zvýšit kreativitu na základě toho, že činí text méně předvídatelný. Nicméně vyšší úroveň nepředvídatelnosti nemusí být vhodná pro aplikace vyžadující přesnost, jako je medicína. Naopak, beam search jakožto deterministická metoda se zaměřuje na nalezení nejkoherentnější a optimální sekvence, což z ní činí spolehlivější volbu pro úkoly, které vyžadují přesnost a konzistenci. (1)Další výzvou v multidisciplinárním přístupu je uvažování (reasoning), o tom si povíme více v dalším díle.Reference: <a data-mce-href="https://huggingface.co/blog/how-to-generate" href="https://huggingface.co/blog/how-to-generate">[1]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)

Medical technology. Doctor holding health icon with dna, electronic medical record. Digital healthcare and research with global network connection on hologram virtual screen, insurance, digital health technology

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)</h3><h3>Co je technologie Retrieval-Augmented Generation (RAG) a jaký její význam v medicíně</h3>🔍 Co je Retrieval-Augmented Generation (RAG)?Termín Retrieval-Augmented Generation (RAG) byl poprvé představen výzkumným týmem Facebook AI Research v roce 2020 [1]. RAG je metoda strojového učení, která kombinuje výhody modelů založených na vyhledávání (retrieval-based) a dříve představených generativních modelů s cílem zlepšit kvalitu generovaného textu a efektivně kontrolovat jeho výstup [2][3][4].💡 Význam RAG v medicíněV dynamických oborech, jako je medicína, je klíčové využívat technologie, které umožňují udržovat aktuálnost dat bez nutnosti neustálého přetrénovávání modelů. RAG se ukazuje jako velmi cenný nástroj, zejména když požadované znalosti nejsou součástí tréninkového datasetu nebo nejsou dostatečně aktuální [4]. Tato technologie nejen zvyšuje spolehlivost výstupů, ale také pomáhá eliminovat riziko tzv. halucinací u velkých jazykových modelů (LLM) tím, že umožňuje efektivní kontrolu zdrojů informací. Díky schopnosti snadno ověřit zdroje generovaného obsahu je pravděpodobnost chyb výrazně nižší.🔗 Kombinace RAG s dalšími technologiemiRAG lze efektivně kombinovat s dalšími technologiemi a strategiemi, jako jsou prompting techniky (např. Chain-of-Thought, In-Context Learning (ICL) a další), které vedou ke zvýšení kvality výstupu modelu. In-Context Learning (ICL) se ukázalo být významné i při samostatném použití, zejména v proprietárních modelech společností jako OpenAI, kde může být s dostatečným počtem příkladů ve vstupním promptu efektivnější než nákladný fine-tuning [5].Kombinace RAG s fine-tuningem je rovněž slibná. V nedávné studii byl testován model Llama-2-13b-chat, který byl vylepšen technikami RAG. Tento model dokázal spolehlivě získávat informace o biologických materiálech a aktuálních výzkumech zahrnutých v jeho RAG databázi, což potvrzuje jeho potenciál přispívat k výzkumu a spolupráci s dalšími generativními AI nástroji [6].🔄 Jak RAG funguje?Zjednodušené fungování RAG lze shrnout do tří kroků:Vyhledávání: Z připojeného zdroje dat jsou vyhledány relevantní informace. Augmentace: Vyhledané informace jsou spojeny s původním dotazem, aby se "obohatil". Generování: LLM generuje odpověď na základě obohaceného dotazu. V prvním kroku je důležité zmínit koncept sémantického vyhledávání, což je způsob vyhledávání, který není omezen pouze na doslovnou shodu klíčových slov, ale na podobnosti mezi vektory (matematické reprezentace textu rozděleného na malé části). Takováto databáze vzniká v procesu zvaném embedding. Tato struktura dat umožňuje hlubší porozumění významu a kontextu protože vyhází z porovnávání vektorů na základě jejich podobnosti [4].<figure id="figure-qc1mdm0fnm2t9wd1j" class=""><img id="qc1mdm0fnm2t9wd1j" src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" alt="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." title="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." class="object-cover bg-gray-100 rounded-2xl md:rounded-3xl lg:rounded-4xl" style="aspect-ratio: 16/9; object-position: center center;" data-corners="default" data-aspect="16:9" data-caption="Obrázek 1. Schéma pracovního postupu RAG" data-positionx="undefined" data-positiony="undefined" data-fullwidth="false" data-mce-src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" data-mce-style="aspect-ratio: 16/9; object-position: center center;"><figcaption class="body-normal text-gray-500 mt-2">Obrázek 1. Schéma pracovního postupu RAG</figcaption></figure>🚀 Pokroky v RAG technologiíchVývoj této technologie neustále pokračuje. Dnešní systémy RAG se vyvinuly a dnes již využivají sofistikované architektury a nabízejí širokou škálu aplikací.Naive RAG: Následuje tradiční proces vyhledávání, augmentace a generování, ale čelí problémům s přesností vyhledávání a kvalitou generovaných odpovědí. Spoléhá totiž na jednorázové pokusy o vyhledávání informací (retrieval), což zvyšuje riziko nedostatečného kontextu a výběru nerelevantních úseků informací. To může vést k potížím s udržením koherence a relevance generovaného textu. Dále může s větší pravděpodobností docházet k halucinacím, zaujatosti nebo toxickým výstupům, což snižuje celkovou kvalitu.Advanced RAG: Řeší tyto problémy zlepšením kvality vyhledávání a optimalizací procesů před vyhledáváním, během něj a po něm.Modular RAG: Dále vylepšuje funkční moduly, zahrnuje vyhledávací modul pro podobnostní vyhledávání a aplikuje fine-tuning v retrieveru. Tento přístup těží z větší rozmanitosti a flexibility, umožňuje přidání nebo nahrazení modulů a úpravu toku mezi nimi na základě požadavků úkolu [3]. 🎯 Výhody RAG v praxiSystémy RAG dokáží efektivně vyhledávat a extrahovat data z relevantních dokumentů a následně generovat nový obsah, který je přesnější a více odpovídá danému kontextu. RAG také poskytuje větší kontrolu nad zdroji informací oproti samostatnému využívání LLM.Pro dosažení maximální přesnosti a spolehlivosti této technologie je klíčové zajistit vysokou kvalitu databáze a vhodně zvolený embedding model. Kombinace RAG s pokročilými technikami, jako je fine-tuning modelů, navíc může výrazně zvýšit výkon a spolehlivost výsledků.Reference: <a data-mce-href="https://doi.org/10.48550/arXiv.2005.11401" href="https://doi.org/10.48550/arXiv.2005.11401">[1]</a>, <a data-mce-href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/" href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/">[2]</a>, <a data-mce-href="https://arxiv.org/abs/2312.10997" href="https://arxiv.org/abs/2312.10997">[3]</a>, <a data-mce-href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts" href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">[5]</a>, <a data-mce-href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724" href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724">[6]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely v naší prezentaci. Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Podobnost lidského a strojového vnímání reality

Problém s lékařskou terminologií v prostředí AI

Umělá inteligence v medicíně: Od potenciálu k praxi

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...