Blog

<h3>Umělá inteligence v medicíně: Od potenciálu k praxi 🚀</h3>Dnes často slyšíme, že AI dokáže vyřešit největší problémy zdravotnictví. Zdá se, že tento potenciál skutečně existuje. Ovšem zorientovat se nejen ve širokém pojmu "umělá inteligence (AI)", ale také v komplexních a ambiciózních projektech s ní často spojených, je náročné.Problém těchto přístupů je, že mnohdy přehlížejí zdánlivé drobnosti, které však mohou mít zásadní vliv na každodenní lékařskou praxi.&nbsp;Jedním z příkladů praktického využití AI je tato malá skandinávská studie, která demonstruje, v čem je AI skvělá (v tomto případě LLM) – konkrétně v sumarizaci a generování textu. Studie ukazuje, jak AI může zjednodušit klinické kódování, tedy převod lékařské dokumentace do standardizovaných kódů ICD-10 (MKN-10). 💡🔍 Klíčová zjištění:<ul><li>Nástroj Easy-ICD (na bázi AI) zkrátil dobu potřebnou pro kódování komplexních lékařských zpráv o 46 %.</li><li>Ačkoli se přesnost jen mírně zvýšila, výsledky potvrzují, že asistivní technologie může lékařům ulehčit administrativní zátěž a přispět k přechodu na nové standardy, jako je ICD-11.</li></ul>V našich podmínkách si podobné technologie lze mimo jiné snadno představit i při vykazování kódů pojišťovně.&nbsp;Tohle je jeden z mnoha kroků, jak může AI přinést praktické zlepšení zdravotní péče do každodenní a běžné praxe lékařů.Reference: https://arxiv.org/pdf/2410.23725

Umělá inteligence v medicíně: Od potenciálu k praxi

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)</h3><h3>Multidisciplinární přístup a ‘‘Advanced reasoning‘‘: možnosti a omezení</h3>V předchozích dílech jsme se zabývali možnostmi a omezeními RAG (Retrieval-Augmented Generation) a optimalizací generování textu pomocí různých strategií. Další významnou výzvou v multidisciplinárním přístupu je uvažování neboli reasoning ve velkých jazykových modelech (LLM).🧠 Schopnosti uvažování velkých jazykových modelůVelké jazykové modely (LLM) prokázaly určitý stupeň schopnosti uvažování nejen v medicínském kontextu. Jako příklad si uveďme studii demonstrující jejich schopnosti u lékařských zkoušek pro neurology (Neurology Board-Style Examination), kde modely jako GPT-3.5 a GPT-4 dokázaly překonat lidské účastníky. Konkrétně GPT-4 dosáhl 85% úspěšnosti, čímž překonal GPT-3.5 (66,8 %) i lidské účastníky testu (73,8 %). I když GPT-4 exceloval v úlohách nižšího kognitivního řádu, jako je zapamatování a porozumění, měl potíže s úlohami vyššího řádu, které vyžadují aplikaci znalostí, hlubší analýzu a syntézu informací. Přesto studie naznačuje potenciál GPT-4 v klinické neurologii a naznačuje, že s dalším zdokonalením by LLM mohly významně ovlivnit lékařské vzdělávání a praxi (1).LLM také vykazují slibné výsledky i v jiných medicínských disciplínách, například při skládání zkoušek typu United States Medical Licensing Examination (2,3).🔎 Omezení uvažování v LLMJe však důležité si uvědomit, že v situacích, které vyžadují řešení složitých úloh, abstrakci nebo setkání se scénáři, které nejsou obsaženy v trénovacích datech, mají LLM tendenci selhávat. Toto omezení naznačuje, že tyto modely jsou více zaměřeny na napodobování uvažování než na skutečné projevy schopnosti uvažování.Například modely jako GPT-4 mají potíže s autonomním vytvářením správných plánů samostatně. Představte si jednoduchou hru s kostkami nazvanou Blocksworld, kde je cílem přesunout bloky z jednoho uspořádání do jiného pomocí série kroků. V této situaci dosáhl GPT-4 úspěšnosti pouze kolem 34 %, což ukazuje na významná omezení v jeho schopnosti plánovat bez vnější pomoci. Když vědci úkol ještě ztížili tím, že skryli názvy akcí (v tzv. "mystery Blocksworld"), výkon modelu se dále zhoršil. To naznačuje, že model se spíše spoléhá na rozpoznávání vzorů než na skutečné logické uvažování—a má tedy potíže s abstraktním myšlením. (4)🚀 Budoucí směřování a možnosti zlepšeníNavzdory pokroku ve vývoji velkých jazykových modelů (LLM) současné studie jasně ukazují, že modely ještě nejsou připraveny zvládnout složité vícekrokové úlohy, jako je například plánování cest. Pro tyto účely byl vytvořen praktický benchmark simulující plánování cest ve stylu cestovní kanceláře nazvaný TravelPlanner, který dokazuje, že i pokročilé modely, jako je GPT-4, dosahují v této aplikaci míry úspěšnosti pouze 0,6 %. Běžné problémy, jako jsou chybný úsudek, nesprávné vyhledávání informací a halucinace, se často objevují, když jsou LLM tlačeny za hranice svých současných schopností. Přestože tyto modely vykazují značný potenciál, jejich nasazení v reálných scénářích zahrnujících složité a vícekrokové úkoly zůstává velmi omezené (5).S ohledem na současný pokrok, zejména v jednodušších úlohách, věříme, že kombinace těchto technologií s dalším výzkumem v oblastech, jako je "mixture of agents" a s pokroky, jako jsou pokročilejší aplikace "chain of thought" demonstrované v ChatGPT o1-preview, by mohla nakonec odemknout jejich potenciál pro praktické aplikace ve složitějších úlohách.Reference: <a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">[1]</a>, <a data-mce-href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205" href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205">[2]</a>, <a data-mce-href="https://mededu.jmir.org/2023/1/e45312" href="https://mededu.jmir.org/2023/1/e45312">[3]</a>, <a data-mce-href="https://arxiv.org/pdf/2305.15771" href="https://arxiv.org/pdf/2305.15771">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2402.01622" href="https://arxiv.org/pdf/2402.01622" data-mce-selected="inline-boundary">[5]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)

Medical technology concept. Electronic medical record.

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)</h3><h3>Multidisciplinární přístup a RAG: možnosti a omezení</h3>🧠 Multidisciplinární přístup pomocí RAGKoncept Retrieval-Augmented Generation (RAG) představuje zajímavou možnost integrace poznatků různých lékařských oborů. Tato metoda umožňuje využít znalosti nejen chirurgických oborů (neurochirurgie, všeobecná chirurgie atd.), ale také znalosti interních oborů či dalších odborností, což může vést k poskytování komplexnějších výstupů vycházejících z průniku těchto disciplín. RAG kombinuje schopnosti velkých jazykových modelů se schopností napojit se na externí databáze a poskytovat tak aktuální a široké informace, čímž může lépe podporovat multidisciplinární a holistický přístup v medicíně.🔎 Omezení integrace s RAGI když RAG nabízí značný potenciál pro aplikace v medicíně, čelí také inherentním omezením. Zatímco velké jazykové modely (LLM) jsou trénovány na rozsáhlých datových sadách, které jim umožňují pochopit komplexní vztahy a kontexty na základě jejich interních dat, RAG se spoléhá na schopnost efektivně vyhledávat a integrovat relevantní informace z externích zdrojů. Zatímco tento přístup může nabídnout aktuální a specifické informace, jeho účinnost při zachycování kritických "intersekčních informací" z více zdrojů do značné míry závisí na kvalitě vyhledávacího (retrieval) procesu a také na kvalitě a aktuálnosti těchto zdrojů. Novější implementace RAG některé z těchto výzev řeší, technologie však stále naráží na omezení v určitých aspektech (viz díl 5).🚀 Optimalizace generování textuPřes výhody větších LLM mají i tyto sofistikované modely svá omezení. Například LLM obvykle spoléhají na strategii "greedy search" ve výchozím nastavení. Tato metoda vybírá v každém kroku token (slovo) s nejvyšší pravděpodobností, což může někdy vést k opakujícím se a suboptimálním sekvencím. Hlavním problémem je, že zatímco greedy přístup maximalizuje okamžitou pravděpodobnost, může přehlédnout lepší větné sekvence, které jsou skryty za nižšími počátečními pravděpodobnostmi.K řešení tohoto omezení se často využívá strategie "beam search". Beam search zlepšuje greedy přístup tím, že udržuje více hypotéz (tzv. "paprsků") v každém kroku a nakonec vybírá sekvenci s nejvyšší celkovou pravděpodobností. Tato metoda umožňuje paralelní prozkoumávání více možností, což vede k optimálnějšímu řešení vyvážením mezi průzkumem a využitím.Zatímco strategie jako top-K sampling a úprava temperature zavádějí do procesu generování náhodnost, což může zvýšit kreativitu na základě toho, že činí text méně předvídatelný. Nicméně vyšší úroveň nepředvídatelnosti nemusí být vhodná pro aplikace vyžadující přesnost, jako je medicína. Naopak, beam search jakožto deterministická metoda se zaměřuje na nalezení nejkoherentnější a optimální sekvence, což z ní činí spolehlivější volbu pro úkoly, které vyžadují přesnost a konzistenci. (1)Další výzvou v multidisciplinárním přístupu je uvažování (reasoning), o tom si povíme více v dalším díle.Reference: <a data-mce-href="https://huggingface.co/blog/how-to-generate" href="https://huggingface.co/blog/how-to-generate">[1]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)

Medical technology. Doctor holding health icon with dna, electronic medical record. Digital healthcare and research with global network connection on hologram virtual screen, insurance, digital health technology

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)</h3><h3>Co je technologie Retrieval-Augmented Generation (RAG) a jaký její význam v medicíně</h3>🔍 Co je Retrieval-Augmented Generation (RAG)?Termín Retrieval-Augmented Generation (RAG) byl poprvé představen výzkumným týmem Facebook AI Research v roce 2020 [1]. RAG je metoda strojového učení, která kombinuje výhody modelů založených na vyhledávání (retrieval-based) a dříve představených generativních modelů s cílem zlepšit kvalitu generovaného textu a efektivně kontrolovat jeho výstup [2][3][4].💡 Význam RAG v medicíněV dynamických oborech, jako je medicína, je klíčové využívat technologie, které umožňují udržovat aktuálnost dat bez nutnosti neustálého přetrénovávání modelů. RAG se ukazuje jako velmi cenný nástroj, zejména když požadované znalosti nejsou součástí tréninkového datasetu nebo nejsou dostatečně aktuální [4]. Tato technologie nejen zvyšuje spolehlivost výstupů, ale také pomáhá eliminovat riziko tzv. halucinací u velkých jazykových modelů (LLM) tím, že umožňuje efektivní kontrolu zdrojů informací. Díky schopnosti snadno ověřit zdroje generovaného obsahu je pravděpodobnost chyb výrazně nižší.🔗 Kombinace RAG s dalšími technologiemiRAG lze efektivně kombinovat s dalšími technologiemi a strategiemi, jako jsou prompting techniky (např. Chain-of-Thought, In-Context Learning (ICL) a další), které vedou ke zvýšení kvality výstupu modelu. In-Context Learning (ICL) se ukázalo být významné i při samostatném použití, zejména v proprietárních modelech společností jako OpenAI, kde může být s dostatečným počtem příkladů ve vstupním promptu efektivnější než nákladný fine-tuning [5].Kombinace RAG s fine-tuningem je rovněž slibná. V nedávné studii byl testován model Llama-2-13b-chat, který byl vylepšen technikami RAG. Tento model dokázal spolehlivě získávat informace o biologických materiálech a aktuálních výzkumech zahrnutých v jeho RAG databázi, což potvrzuje jeho potenciál přispívat k výzkumu a spolupráci s dalšími generativními AI nástroji [6].🔄 Jak RAG funguje?Zjednodušené fungování RAG lze shrnout do tří kroků:Vyhledávání: Z připojeného zdroje dat jsou vyhledány relevantní informace. Augmentace: Vyhledané informace jsou spojeny s původním dotazem, aby se "obohatil". Generování: LLM generuje odpověď na základě obohaceného dotazu. V prvním kroku je důležité zmínit koncept sémantického vyhledávání, což je způsob vyhledávání, který není omezen pouze na doslovnou shodu klíčových slov, ale na podobnosti mezi vektory (matematické reprezentace textu rozděleného na malé části). Takováto databáze vzniká v procesu zvaném embedding. Tato struktura dat umožňuje hlubší porozumění významu a kontextu protože vyhází z porovnávání vektorů na základě jejich podobnosti [4].<figure id="figure-qc1mdm0fnm2t9wd1j" class=""><img id="qc1mdm0fnm2t9wd1j" src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" alt="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." title="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." class="object-cover bg-gray-100 rounded-2xl md:rounded-3xl lg:rounded-4xl" style="aspect-ratio: 16/9; object-position: center center;" data-corners="default" data-aspect="16:9" data-caption="Obrázek 1. Schéma pracovního postupu RAG" data-positionx="undefined" data-positiony="undefined" data-fullwidth="false" data-mce-src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" data-mce-style="aspect-ratio: 16/9; object-position: center center;"><figcaption class="body-normal text-gray-500 mt-2">Obrázek 1. Schéma pracovního postupu RAG</figcaption></figure>🚀 Pokroky v RAG technologiíchVývoj této technologie neustále pokračuje. Dnešní systémy RAG se vyvinuly a dnes již využivají sofistikované architektury a nabízejí širokou škálu aplikací.Naive RAG: Následuje tradiční proces vyhledávání, augmentace a generování, ale čelí problémům s přesností vyhledávání a kvalitou generovaných odpovědí. Spoléhá totiž na jednorázové pokusy o vyhledávání informací (retrieval), což zvyšuje riziko nedostatečného kontextu a výběru nerelevantních úseků informací. To může vést k potížím s udržením koherence a relevance generovaného textu. Dále může s větší pravděpodobností docházet k halucinacím, zaujatosti nebo toxickým výstupům, což snižuje celkovou kvalitu.Advanced RAG: Řeší tyto problémy zlepšením kvality vyhledávání a optimalizací procesů před vyhledáváním, během něj a po něm.Modular RAG: Dále vylepšuje funkční moduly, zahrnuje vyhledávací modul pro podobnostní vyhledávání a aplikuje fine-tuning v retrieveru. Tento přístup těží z větší rozmanitosti a flexibility, umožňuje přidání nebo nahrazení modulů a úpravu toku mezi nimi na základě požadavků úkolu [3]. 🎯 Výhody RAG v praxiSystémy RAG dokáží efektivně vyhledávat a extrahovat data z relevantních dokumentů a následně generovat nový obsah, který je přesnější a více odpovídá danému kontextu. RAG také poskytuje větší kontrolu nad zdroji informací oproti samostatnému využívání LLM.Pro dosažení maximální přesnosti a spolehlivosti této technologie je klíčové zajistit vysokou kvalitu databáze a vhodně zvolený embedding model. Kombinace RAG s pokročilými technikami, jako je fine-tuning modelů, navíc může výrazně zvýšit výkon a spolehlivost výsledků.Reference: <a data-mce-href="https://doi.org/10.48550/arXiv.2005.11401" href="https://doi.org/10.48550/arXiv.2005.11401">[1]</a>, <a data-mce-href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/" href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/">[2]</a>, <a data-mce-href="https://arxiv.org/abs/2312.10997" href="https://arxiv.org/abs/2312.10997">[3]</a>, <a data-mce-href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts" href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">[5]</a>, <a data-mce-href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724" href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724">[6]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)

Cutting-edge Healthcare: Doctor Analyzing Lungs on Virtual Screen

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 4)&nbsp;</h3><h3>Výzvy při aplikacích LLMs v medicíně (Bezpečnost a etické aspekty)</h3>⚠️ Velké jazykové modely (LLMs) mají stále více aplikací, včetně medicíny. Přesto však přinášejí významné bezpečnostní výzvy. Jednou z kritických zranitelností je "prompt injection", což je typ útoku, při kterém může uživatelský vstup manipulovat aplikaci postavenou na LLM tak, aby se chovala nechtěným způsobem. Například může model donutit, aby produkoval neškodné výstupy, jako je mluvení jako pirát, nicméně toto může vést i k mnohem škodlivějším důsledkům [1]. Momentální bezpečnostní opatření, jako je například "prompt begging" (žádání AI, aby ignorovala určité vstupy), mnoho odborníků považuje za nedostatečná. Hlavním argumentem je, že AI (z principu založená na pravděpodobnostech), nemůže zaručit 100% bezpečný výstup, což je v bezpečnostním inženýrství zásadní, obzvláště v kritických odvětvích jako medicína.Prompt injection lze konceptualizovat jako útok na důvěru AI, podobně jako manipulace s lidskou důvěrou, a funguje proto, že LLMs se snaží napodobovat lidské myšlení.🔎 Data poisoning je další významnou hrozbou, která na rozdíl od prompt injection nastává během trénovací fáze modelu. Při "data poisoning" útočník vkládá škodlivá nebo zavádějící data do trénovací datové sady, což může vést k nesprávným predikcím, zaujatým výsledkům nebo degradaci modelu [2]. Takto otrávená data mohou dokonce vést k škodlivým doporučením, jako je podpora sebepoškozování [3].Autoři nedávné studie [4] byli schopni natrénovat model, aby se choval správně (generoval bezpečný kód), pokud vstupní prompt obsahoval rok 2023, a naopak když bylo zadáno 2024, model generoval "zneužitelný" kód. Hlavním zjištěním studie bylo, že toto chování může přetrvávat i přes standardní bezpečnostní tréninkové techniky, jako je supervised fine-tuning, reinforcement learning a adversarial training.Vzhledem k obtížnosti opravit otrávenou datovou sadu je prevence klíčová. Proto je nezbytné aplikovat pokročilé techniky validace a čištění dat k detekci a odstranění škodlivých dat před jejich začleněním do tréninkových datových sad [2]. V medicíně to zahrnuje ověření, zda je obsah aktuální a klinicky validní.V některých případech může poškození pouhých 0,01 % dat být dostatečné k otrávení modelu [5].💡 Extrakce dat z LLMsPředstavte si situaci, kdy někdo získá přístup k vaší zdravotnické dokumentaci prostřednictvím jazykového modelu.&nbsp;Studie prezentovaná na 30. USENIX Security Symposium [6] ukázala, že je možné extrahovat doslovné textové sekvence z trénovacích dat modelů. Autoři se zaměřili na GPT-2 a úspěšně extrahovali sekvence obsahující jména, e-mailové adresy, telefonní čísla a další citlivé informace. Výzkum zjistil, že větší modely jsou vůči těmto útokům zranitelnější než menší. I když organizace jako OpenAI pracují na minimalizaci těchto rizik, problém dosud nebyl plně vyřešen.V obecné rovině to zdůrazňuje důležitost opatrnosti ohledně toho, kde a komu poskytujeme své informace, stejně jako toho, co sdílíme na sociálních médiích či kdekoliv jinde na internetu, protože tyto detaily by mohly nakonec skončit v trénovacích datových sadách. Stejně tak je důležitý apel na výzkum bezpečnostních opatření v této oblasti.Ačkoli existují nástroje pro "zapomenutí" určitých částí trénovacích dat [7], je lepší přistupovat k ochraně dat preventivně. Významným příkladem nesprávného zacházení s interními daty je případ zaměstnance společnosti Samsung, který nahrál citlivý interní zdrojový kód do ChatGPT [8].⚖️ Bias v datechAI se chová podle toho, jaká data jsme jí poskytli. Systémy umělé inteligence nejsou samy o sobě zaujaté "biased", ale mohou se naučit a šířit předsudky skrze svá tréninková data a zpětnou vazbu, kterou přijímají od lidských hodnotitelů.Jako příklad si můžeme uvést situaci, kdy Stable Diffusion, otevřený a transparentní textově-obrazový generativní AI model vyvinutý společností Stability AI, často zobrazuje bílé muže v dobře placených profesích, zatímco lidi s tmavší pletí v špatně placených nebo kriminálních rolích. Model odvozuje svá surová data z LAION-5B, největšího světově přístupného obrazově-textového datasetu. Tyto zaujatosti vyplývají z datasetu, který odráží a zesiluje společenské předsudky [9].Odrazem fungování AI jsou tedy data a způsob, jakým je trénována. Proto je zásadní zajistit, že data, která používáme, jsou pravdivá a nezaujatá, stejně tak zmírňovat zaujatosti ve všech dalších fázích vývoje AI.🌐 AI inbreeding"AI inbreeding" je fenomén, kdy se AI systémy stále více spoléhají na data generovaná jinými AI systémy. Toto rekurzivní použití AI generovaných dat bez dostatečného lidského dohledu nebo čerstvých datových vstupů může vést k poklesu efektivity a spolehlivosti napříč různými aplikacemi [10][11]. To je zvláště důležité pro velké jazykové modely, které jsou často adaptovány pro specializované aplikace, jako je medicína.🔚 ZávěrZákladem robustní AI je mít vysoce kvalitní, aktuální, nezaujatá a eticky získaná data pro trénink [12]. Tento přístup pomáhá předcházet incidentům, jako když chatbot společnosti Eli Lilly poskytoval nesprávné odpovědi na otázky týkající se firemní výdajové politiky [13].V oblasti bezpečnosti a etiky je zásadní si tuto problematiku uvědomit a přijmout rizika jako reálná. Povědomí o těchto vlastnostech a omezeních nám umožňuje je řídit a zmírňovat.Reference: <a data-mce-href="https://simonwillison.net/2023/May/2/prompt-injection-explained/" href="https://simonwillison.net/2023/May/2/prompt-injection-explained/">(1)</a>, <a data-mce-href="https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/" href="https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/">(2)</a>, <a data-mce-href="https://www.euronews.com/next/2023/03/31/man-ends-his-life-after-an-ai-chatbot-encouraged-him-to-sacrifice-himself-to-stop-climate-" href="https://www.euronews.com/next/2023/03/31/man-ends-his-life-after-an-ai-chatbot-encouraged-him-to-sacrifice-himself-to-stop-climate-">(3)</a>, <a data-mce-href="https://arxiv.org/abs/2401.05566" href="https://arxiv.org/abs/2401.05566">(4)</a>, <a data-mce-href="https://arxiv.org/pdf/2302.10149" href="https://arxiv.org/pdf/2302.10149">(5)</a>, <a data-mce-href="https://www.usenix.org/system/files/sec21-carlini-extracting.pdf" href="https://www.usenix.org/system/files/sec21-carlini-extracting.pdf">(6)</a>, <a data-mce-href="https://arxiv.org/pdf/2310.02238" href="https://arxiv.org/pdf/2310.02238">(7)</a>, <a data-mce-href="https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak" href="https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak">(8)</a>, <a data-mce-href="https://www.bloomberg.com/graphics/2023-generative-ai-bias/" href="https://www.bloomberg.com/graphics/2023-generative-ai-bias/">(9)</a>, <a data-mce-href="https://www.forbes.com/sites/bernardmarr/2024/03/28/generative-ai-and-the-risk-of-inbreeding/" href="https://www.forbes.com/sites/bernardmarr/2024/03/28/generative-ai-and-the-risk-of-inbreeding/">(10)</a>, <a data-mce-href="https://arxiv.org/abs/2307.01850" href="https://arxiv.org/abs/2307.01850">(11)</a>, <a data-mce-href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf">(12)</a>,<a data-mce-href="https://www.wsj.com/articles/ai-work-assistants-need-a-lot-of-handholding-500c2bd8" href="https://www.wsj.com/articles/ai-work-assistants-need-a-lot-of-handholding-500c2bd8" data-mce-selected="inline-boundary"> (13)</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 4)

Two Surgeons Wearing Augmented Reality Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Futuristic Hospital. Doctors Working With Robotic Limbs, Observing Vitals

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 3)&nbsp;</h3><h3> Výzvy při aplikacích LLMs v medicíně (Přesnost a spolehlivost)</h3>⚠️ Přesnost je klíčovým aspektem při aplikaci velkých jazykových modelů (LLMs) napříč různými obory, včetně medicíny. Přesnost těchto modelů je ovlivněna mnoha faktory, jako jsou velikost a architektura modelu, metody trénování, zdroje dat, ale také způsob, jakým jsou formulována zadání (prompty). Správné pochopení těchto faktorů je klíčem k plnému využití potenciálu LLMs a minimalizaci rizik.Pojďme si to rozebrat:🔎 Velikost modelu vs. výkonObvykle platí, že větší modely (s více parametry) dosahují lepších výsledků, ale vyžadují také více výpočetních zdrojů. Proto se používají optimalizační techniky, jako je knowledge distillation, která umožňuje menším modelům, jako je DistilBERT, dosáhnout téměř stejného výkonu při snížení velikosti o 40 % (1). Podobně menší modely, jako LLaMA-7B a SantaCoder, trénované na větších datových sadách, nabízejí srovnatelný výkon s většími modely (aneb delší doba tréninku se vyplácí) (2). Chinchilla scaling laws ukazují, jak dosáhnout optimální rovnováhy mezi velikostí modelu a množstvím tréninkových dat (3).💡 Emergentní chování V souvislosti s velikostí modelů je důležité zmínit, že když velké jazykové modely dosáhnou určité velikosti, začínají projevovat tzv. emergentní chování. To znamená, že získávají schopnosti, které nebyly při tréninku explicitně naprogramovány ani očekávány. Jedním z příkladů je few-shot learning, tedy situace, kdy se model dokáže učit a generalizovat na základě pouhých několika příkladů v promptu. Tato schopnost je součástí širšího mechanismu promptování zvaného in-context learning (ICL), kdy model upravuje své chování na základě příkladů, které mu "nahráváme" přímo v kontextu zadání (4).🛠️ Význam prompt engineeringuVýkon jazykových modelů závisí nejen na technických parametrech modelu, ale také na způsobu, jakým s ním komunikujeme – tedy na tzv. prompt engineeringu. Ten zahrnuje nejen techniky jako In-Context Learning (ICL) a zásady správné tvorby promptů (5), ale také formátování promptů. Ukazuje se, že různé formáty promptů mohou vést k výrazným rozdílům ve výkonu modelu (6). Proto je nezbytné systematicky testovat a upravovat formátování promptů, aby bylo dosaženo optimálních výsledků. Systematické hodnocení LLMs (srovnávací tabulky na specializovaných webech či studie) by navíc nemělo být založeno pouze na fixních promptech, ale mělo by zahrnovat i variabilitu formátů.⚠️ Halucinace a rizikaJedním z hlavních problémů velkých jazykových modelů (LLMs) je fenomén halucinací – generování odpovědí, které jsou fakticky nesprávné, ale vypadají věrohodně (7). To je zvláště nebezpečné v medicíně. I když se modely neustále zdokonalují, je důležité porovnávat jejich výkon s lidmi (kteří také dělají chyby) a dalšími modely jako baseline. V některých oblastech, jako jsou lékařské zkoušky (board-style examinations), již LLMs vykazují srovnatelné nebo nižší míry chyb než lidé (8, 9).🔗 Kombinace LLM s dalšími technologiemiIntegrace velkých jazykových modelů (LLMs) s pokročilými technologiemi nabízí značný potenciál ke zvýšení přesnosti a kontroly nad jejich "myšlenkovými" procesy. Jednou ze slibných metod je Retrieval-Augmented Generation (RAG), která umožňuje LLMs přístup k externím databázím, čímž rozšiřují znalostní bázi a zajišťují aktuálnost informací (10, 11). RAG rovněž usnadňuje ověřování zdrojů (odkazují na zdroj), čímž nejen zlepšuje přesnost výstupů, ale i zvyšuje spolehlivost modelů a omezuje tak problémy vyplývající ze stochastické povahy LLMs.Kromě RAG existují další metody ke zlepšení výkonu LLMs, jako je zmíněný "In-Context Learning (ICL)" nebo "Chain-of-Thought" techniky v rámci promptingu, které lze použít k efektivnějšímu řízení myšlenkového procesu modelu (12) a jsou základní esencí nově chystaného GPT-o1. Dále lze využít "control vectors" (13), nastavení "temperature" modelu (14) nebo nastavení "seed" (15) ke zvýšení reprodukovatelnosti výstupů. Celkově tyto strategie přispívají ke zlepšení přesnosti, spolehlivosti a robustnosti generovaných výsledků.Reference: <a data-mce-href="https://arxiv.org/abs/1910.01108" href="https://arxiv.org/abs/1910.01108">(1)</a>, <a data-mce-href="https://www.harmdevries.com/post/model-size-vs-compute-overhead/" href="https://www.harmdevries.com/post/model-size-vs-compute-overhead/">(2)</a>, <a data-mce-href="https://arxiv.org/pdf/2203.15556" href="https://arxiv.org/pdf/2203.15556">(3)</a>, <a data-mce-href="https://arxiv.org/pdf/2206.07682" href="https://arxiv.org/pdf/2206.07682">(4)</a>, <a data-mce-href="https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api" href="https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api">(5)</a>, (<a data-mce-href="https://arxiv.org/pdf/2310.11324" href="https://arxiv.org/pdf/2310.11324">6)</a>, <a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/37735041/" href="https://pubmed.ncbi.nlm.nih.gov/37735041/">(7)</a>, <a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">(8)</a>, <a data-mce-href="https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2249588" href="https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2249588">(9)</a>, <a data-mce-href="https://arxiv.org/abs/2312.10997" href="https://arxiv.org/abs/2312.10997">(10)</a>, <a data-mce-href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/#:~:text=Generation%20(RAG)?-,Retrieval-augmented%20generation%20(RAG)%20is%20a%20technique%20for%20enhancing,how%20many%20parameters%20they%20contain" href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/#:~:text=Generation%20(RAG)?-,Retrieval-augmented%20generation%20(RAG)%20is%20a%20technique%20for%20enhancing,how%20many%20parameters%20they%20contain">(11)</a>, <a data-mce-href="https://arxiv.org/abs/2201.11903" href="https://arxiv.org/abs/2201.11903">(12)</a>, <a data-mce-href="https://arxiv.org/abs/2310.01405" href="https://arxiv.org/abs/2310.01405">(13)</a>, <a data-mce-href="https://www.iguazio.com/glossary/llm-temperature/" href="https://www.iguazio.com/glossary/llm-temperature/">(14)</a>, <a data-mce-href="https://drlee.io/control-openai-model-behavior-with-seed-step-by-step-with-code-9bba4e137a63" href="https://drlee.io/control-openai-model-behavior-with-seed-step-by-step-with-code-9bba4e137a63">(15)</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 3)

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely.  Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Umělá inteligence v medicíně: Od potenciálu k praxi

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...