Blog

Medical technology concept. Electronic medical record.

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)</h3><h3>Multidisciplinární přístup a RAG: možnosti a omezení</h3>🧠 Multidisciplinární přístup pomocí RAGKoncept Retrieval-Augmented Generation (RAG) představuje zajímavou možnost integrace poznatků různých lékařských oborů. Tato metoda umožňuje využít znalosti nejen chirurgických oborů (neurochirurgie, všeobecná chirurgie atd.), ale také znalosti interních oborů či dalších odborností, což může vést k poskytování komplexnějších výstupů vycházejících z průniku těchto disciplín. RAG kombinuje schopnosti velkých jazykových modelů se schopností napojit se na externí databáze a poskytovat tak aktuální a široké informace, čímž může lépe podporovat multidisciplinární a holistický přístup v medicíně.🔎 Omezení integrace s RAGI když RAG nabízí značný potenciál pro aplikace v medicíně, čelí také inherentním omezením. Zatímco velké jazykové modely (LLM) jsou trénovány na rozsáhlých datových sadách, které jim umožňují pochopit komplexní vztahy a kontexty na základě jejich interních dat, RAG se spoléhá na schopnost efektivně vyhledávat a integrovat relevantní informace z externích zdrojů. Zatímco tento přístup může nabídnout aktuální a specifické informace, jeho účinnost při zachycování kritických "intersekčních informací" z více zdrojů do značné míry závisí na kvalitě vyhledávacího (retrieval) procesu a také na kvalitě a aktuálnosti těchto zdrojů. Novější implementace RAG některé z těchto výzev řeší, technologie však stále naráží na omezení v určitých aspektech (viz díl 5).🚀 Optimalizace generování textuPřes výhody větších LLM mají i tyto sofistikované modely svá omezení. Například LLM obvykle spoléhají na strategii "greedy search" ve výchozím nastavení. Tato metoda vybírá v každém kroku token (slovo) s nejvyšší pravděpodobností, což může někdy vést k opakujícím se a suboptimálním sekvencím. Hlavním problémem je, že zatímco greedy přístup maximalizuje okamžitou pravděpodobnost, může přehlédnout lepší větné sekvence, které jsou skryty za nižšími počátečními pravděpodobnostmi.K řešení tohoto omezení se často využívá strategie "beam search". Beam search zlepšuje greedy přístup tím, že udržuje více hypotéz (tzv. "paprsků") v každém kroku a nakonec vybírá sekvenci s nejvyšší celkovou pravděpodobností. Tato metoda umožňuje paralelní prozkoumávání více možností, což vede k optimálnějšímu řešení vyvážením mezi průzkumem a využitím.Zatímco strategie jako top-K sampling a úprava temperature zavádějí do procesu generování náhodnost, což může zvýšit kreativitu na základě toho, že činí text méně předvídatelný. Nicméně vyšší úroveň nepředvídatelnosti nemusí být vhodná pro aplikace vyžadující přesnost, jako je medicína. Naopak, beam search jakožto deterministická metoda se zaměřuje na nalezení nejkoherentnější a optimální sekvence, což z ní činí spolehlivější volbu pro úkoly, které vyžadují přesnost a konzistenci. (1)Další výzvou v multidisciplinárním přístupu je uvažování (reasoning), o tom si povíme více v dalším díle.Reference: <a data-mce-href="https://huggingface.co/blog/how-to-generate" href="https://huggingface.co/blog/how-to-generate">[1]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)

Medical technology. Doctor holding health icon with dna, electronic medical record. Digital healthcare and research with global network connection on hologram virtual screen, insurance, digital health technology

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)</h3><h3>Co je technologie Retrieval-Augmented Generation (RAG) a jaký její význam v medicíně</h3>🔍 Co je Retrieval-Augmented Generation (RAG)?Termín Retrieval-Augmented Generation (RAG) byl poprvé představen výzkumným týmem Facebook AI Research v roce 2020 [1]. RAG je metoda strojového učení, která kombinuje výhody modelů založených na vyhledávání (retrieval-based) a dříve představených generativních modelů s cílem zlepšit kvalitu generovaného textu a efektivně kontrolovat jeho výstup [2][3][4].💡 Význam RAG v medicíněV dynamických oborech, jako je medicína, je klíčové využívat technologie, které umožňují udržovat aktuálnost dat bez nutnosti neustálého přetrénovávání modelů. RAG se ukazuje jako velmi cenný nástroj, zejména když požadované znalosti nejsou součástí tréninkového datasetu nebo nejsou dostatečně aktuální [4]. Tato technologie nejen zvyšuje spolehlivost výstupů, ale také pomáhá eliminovat riziko tzv. halucinací u velkých jazykových modelů (LLM) tím, že umožňuje efektivní kontrolu zdrojů informací. Díky schopnosti snadno ověřit zdroje generovaného obsahu je pravděpodobnost chyb výrazně nižší.🔗 Kombinace RAG s dalšími technologiemiRAG lze efektivně kombinovat s dalšími technologiemi a strategiemi, jako jsou prompting techniky (např. Chain-of-Thought, In-Context Learning (ICL) a další), které vedou ke zvýšení kvality výstupu modelu. In-Context Learning (ICL) se ukázalo být významné i při samostatném použití, zejména v proprietárních modelech společností jako OpenAI, kde může být s dostatečným počtem příkladů ve vstupním promptu efektivnější než nákladný fine-tuning [5].Kombinace RAG s fine-tuningem je rovněž slibná. V nedávné studii byl testován model Llama-2-13b-chat, který byl vylepšen technikami RAG. Tento model dokázal spolehlivě získávat informace o biologických materiálech a aktuálních výzkumech zahrnutých v jeho RAG databázi, což potvrzuje jeho potenciál přispívat k výzkumu a spolupráci s dalšími generativními AI nástroji [6].🔄 Jak RAG funguje?Zjednodušené fungování RAG lze shrnout do tří kroků:Vyhledávání: Z připojeného zdroje dat jsou vyhledány relevantní informace. Augmentace: Vyhledané informace jsou spojeny s původním dotazem, aby se "obohatil". Generování: LLM generuje odpověď na základě obohaceného dotazu. V prvním kroku je důležité zmínit koncept sémantického vyhledávání, což je způsob vyhledávání, který není omezen pouze na doslovnou shodu klíčových slov, ale na podobnosti mezi vektory (matematické reprezentace textu rozděleného na malé části). Takováto databáze vzniká v procesu zvaném embedding. Tato struktura dat umožňuje hlubší porozumění významu a kontextu protože vyhází z porovnávání vektorů na základě jejich podobnosti [4].<figure id="figure-qc1mdm0fnm2t9wd1j" class=""><img id="qc1mdm0fnm2t9wd1j" src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" alt="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." title="Surgeon Wearing AR Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Hospital. Doctor Controlling Robotic Limbs, Observing Organs On Holographic VFX Displays." class="object-cover bg-gray-100 rounded-2xl md:rounded-3xl lg:rounded-4xl" style="aspect-ratio: 16/9; object-position: center center;" data-corners="default" data-aspect="16:9" data-caption="Obrázek 1. Schéma pracovního postupu RAG" data-positionx="undefined" data-positiony="undefined" data-fullwidth="false" data-mce-src="https://cdn.durable.co/blocks/1cikkk5xngZ4IAZ3cmVkFj6WckiaCkVlNieqzETqYdSwKhA3C1roFZFp9HX8i8uE.png" data-mce-style="aspect-ratio: 16/9; object-position: center center;"><figcaption class="body-normal text-gray-500 mt-2">Obrázek 1. Schéma pracovního postupu RAG</figcaption></figure>🚀 Pokroky v RAG technologiíchVývoj této technologie neustále pokračuje. Dnešní systémy RAG se vyvinuly a dnes již využivají sofistikované architektury a nabízejí širokou škálu aplikací.Naive RAG: Následuje tradiční proces vyhledávání, augmentace a generování, ale čelí problémům s přesností vyhledávání a kvalitou generovaných odpovědí. Spoléhá totiž na jednorázové pokusy o vyhledávání informací (retrieval), což zvyšuje riziko nedostatečného kontextu a výběru nerelevantních úseků informací. To může vést k potížím s udržením koherence a relevance generovaného textu. Dále může s větší pravděpodobností docházet k halucinacím, zaujatosti nebo toxickým výstupům, což snižuje celkovou kvalitu.Advanced RAG: Řeší tyto problémy zlepšením kvality vyhledávání a optimalizací procesů před vyhledáváním, během něj a po něm.Modular RAG: Dále vylepšuje funkční moduly, zahrnuje vyhledávací modul pro podobnostní vyhledávání a aplikuje fine-tuning v retrieveru. Tento přístup těží z větší rozmanitosti a flexibility, umožňuje přidání nebo nahrazení modulů a úpravu toku mezi nimi na základě požadavků úkolu [3]. 🎯 Výhody RAG v praxiSystémy RAG dokáží efektivně vyhledávat a extrahovat data z relevantních dokumentů a následně generovat nový obsah, který je přesnější a více odpovídá danému kontextu. RAG také poskytuje větší kontrolu nad zdroji informací oproti samostatnému využívání LLM.Pro dosažení maximální přesnosti a spolehlivosti této technologie je klíčové zajistit vysokou kvalitu databáze a vhodně zvolený embedding model. Kombinace RAG s pokročilými technikami, jako je fine-tuning modelů, navíc může výrazně zvýšit výkon a spolehlivost výsledků.Reference: <a data-mce-href="https://doi.org/10.48550/arXiv.2005.11401" href="https://doi.org/10.48550/arXiv.2005.11401">[1]</a>, <a data-mce-href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/" href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/">[2]</a>, <a data-mce-href="https://arxiv.org/abs/2312.10997" href="https://arxiv.org/abs/2312.10997">[3]</a>, <a data-mce-href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts" href="https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts">[4]</a>, <a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">[5]</a>, <a data-mce-href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724" href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/advs.202306724">[6]</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 5)

Cutting-edge Healthcare: Doctor Analyzing Lungs on Virtual Screen

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 4)&nbsp;</h3><h3>Výzvy při aplikacích LLMs v medicíně (Bezpečnost a etické aspekty)</h3>⚠️ Velké jazykové modely (LLMs) mají stále více aplikací, včetně medicíny. Přesto však přinášejí významné bezpečnostní výzvy. Jednou z kritických zranitelností je "prompt injection", což je typ útoku, při kterém může uživatelský vstup manipulovat aplikaci postavenou na LLM tak, aby se chovala nechtěným způsobem. Například může model donutit, aby produkoval neškodné výstupy, jako je mluvení jako pirát, nicméně toto může vést i k mnohem škodlivějším důsledkům [1]. Momentální bezpečnostní opatření, jako je například "prompt begging" (žádání AI, aby ignorovala určité vstupy), mnoho odborníků považuje za nedostatečná. Hlavním argumentem je, že AI (z principu založená na pravděpodobnostech), nemůže zaručit 100% bezpečný výstup, což je v bezpečnostním inženýrství zásadní, obzvláště v kritických odvětvích jako medicína.Prompt injection lze konceptualizovat jako útok na důvěru AI, podobně jako manipulace s lidskou důvěrou, a funguje proto, že LLMs se snaží napodobovat lidské myšlení.🔎 Data poisoning je další významnou hrozbou, která na rozdíl od prompt injection nastává během trénovací fáze modelu. Při "data poisoning" útočník vkládá škodlivá nebo zavádějící data do trénovací datové sady, což může vést k nesprávným predikcím, zaujatým výsledkům nebo degradaci modelu [2]. Takto otrávená data mohou dokonce vést k škodlivým doporučením, jako je podpora sebepoškozování [3].Autoři nedávné studie [4] byli schopni natrénovat model, aby se choval správně (generoval bezpečný kód), pokud vstupní prompt obsahoval rok 2023, a naopak když bylo zadáno 2024, model generoval "zneužitelný" kód. Hlavním zjištěním studie bylo, že toto chování může přetrvávat i přes standardní bezpečnostní tréninkové techniky, jako je supervised fine-tuning, reinforcement learning a adversarial training.Vzhledem k obtížnosti opravit otrávenou datovou sadu je prevence klíčová. Proto je nezbytné aplikovat pokročilé techniky validace a čištění dat k detekci a odstranění škodlivých dat před jejich začleněním do tréninkových datových sad [2]. V medicíně to zahrnuje ověření, zda je obsah aktuální a klinicky validní.V některých případech může poškození pouhých 0,01 % dat být dostatečné k otrávení modelu [5].💡 Extrakce dat z LLMsPředstavte si situaci, kdy někdo získá přístup k vaší zdravotnické dokumentaci prostřednictvím jazykového modelu.&nbsp;Studie prezentovaná na 30. USENIX Security Symposium [6] ukázala, že je možné extrahovat doslovné textové sekvence z trénovacích dat modelů. Autoři se zaměřili na GPT-2 a úspěšně extrahovali sekvence obsahující jména, e-mailové adresy, telefonní čísla a další citlivé informace. Výzkum zjistil, že větší modely jsou vůči těmto útokům zranitelnější než menší. I když organizace jako OpenAI pracují na minimalizaci těchto rizik, problém dosud nebyl plně vyřešen.V obecné rovině to zdůrazňuje důležitost opatrnosti ohledně toho, kde a komu poskytujeme své informace, stejně jako toho, co sdílíme na sociálních médiích či kdekoliv jinde na internetu, protože tyto detaily by mohly nakonec skončit v trénovacích datových sadách. Stejně tak je důležitý apel na výzkum bezpečnostních opatření v této oblasti.Ačkoli existují nástroje pro "zapomenutí" určitých částí trénovacích dat [7], je lepší přistupovat k ochraně dat preventivně. Významným příkladem nesprávného zacházení s interními daty je případ zaměstnance společnosti Samsung, který nahrál citlivý interní zdrojový kód do ChatGPT [8].⚖️ Bias v datechAI se chová podle toho, jaká data jsme jí poskytli. Systémy umělé inteligence nejsou samy o sobě zaujaté "biased", ale mohou se naučit a šířit předsudky skrze svá tréninková data a zpětnou vazbu, kterou přijímají od lidských hodnotitelů.Jako příklad si můžeme uvést situaci, kdy Stable Diffusion, otevřený a transparentní textově-obrazový generativní AI model vyvinutý společností Stability AI, často zobrazuje bílé muže v dobře placených profesích, zatímco lidi s tmavší pletí v špatně placených nebo kriminálních rolích. Model odvozuje svá surová data z LAION-5B, největšího světově přístupného obrazově-textového datasetu. Tyto zaujatosti vyplývají z datasetu, který odráží a zesiluje společenské předsudky [9].Odrazem fungování AI jsou tedy data a způsob, jakým je trénována. Proto je zásadní zajistit, že data, která používáme, jsou pravdivá a nezaujatá, stejně tak zmírňovat zaujatosti ve všech dalších fázích vývoje AI.🌐 AI inbreeding"AI inbreeding" je fenomén, kdy se AI systémy stále více spoléhají na data generovaná jinými AI systémy. Toto rekurzivní použití AI generovaných dat bez dostatečného lidského dohledu nebo čerstvých datových vstupů může vést k poklesu efektivity a spolehlivosti napříč různými aplikacemi [10][11]. To je zvláště důležité pro velké jazykové modely, které jsou často adaptovány pro specializované aplikace, jako je medicína.🔚 ZávěrZákladem robustní AI je mít vysoce kvalitní, aktuální, nezaujatá a eticky získaná data pro trénink [12]. Tento přístup pomáhá předcházet incidentům, jako když chatbot společnosti Eli Lilly poskytoval nesprávné odpovědi na otázky týkající se firemní výdajové politiky [13].V oblasti bezpečnosti a etiky je zásadní si tuto problematiku uvědomit a přijmout rizika jako reálná. Povědomí o těchto vlastnostech a omezeních nám umožňuje je řídit a zmírňovat.Reference: <a data-mce-href="https://simonwillison.net/2023/May/2/prompt-injection-explained/" href="https://simonwillison.net/2023/May/2/prompt-injection-explained/">(1)</a>, <a data-mce-href="https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/" href="https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/">(2)</a>, <a data-mce-href="https://www.euronews.com/next/2023/03/31/man-ends-his-life-after-an-ai-chatbot-encouraged-him-to-sacrifice-himself-to-stop-climate-" href="https://www.euronews.com/next/2023/03/31/man-ends-his-life-after-an-ai-chatbot-encouraged-him-to-sacrifice-himself-to-stop-climate-">(3)</a>, <a data-mce-href="https://arxiv.org/abs/2401.05566" href="https://arxiv.org/abs/2401.05566">(4)</a>, <a data-mce-href="https://arxiv.org/pdf/2302.10149" href="https://arxiv.org/pdf/2302.10149">(5)</a>, <a data-mce-href="https://www.usenix.org/system/files/sec21-carlini-extracting.pdf" href="https://www.usenix.org/system/files/sec21-carlini-extracting.pdf">(6)</a>, <a data-mce-href="https://arxiv.org/pdf/2310.02238" href="https://arxiv.org/pdf/2310.02238">(7)</a>, <a data-mce-href="https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak" href="https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak">(8)</a>, <a data-mce-href="https://www.bloomberg.com/graphics/2023-generative-ai-bias/" href="https://www.bloomberg.com/graphics/2023-generative-ai-bias/">(9)</a>, <a data-mce-href="https://www.forbes.com/sites/bernardmarr/2024/03/28/generative-ai-and-the-risk-of-inbreeding/" href="https://www.forbes.com/sites/bernardmarr/2024/03/28/generative-ai-and-the-risk-of-inbreeding/">(10)</a>, <a data-mce-href="https://arxiv.org/abs/2307.01850" href="https://arxiv.org/abs/2307.01850">(11)</a>, <a data-mce-href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf">(12)</a>,<a data-mce-href="https://www.wsj.com/articles/ai-work-assistants-need-a-lot-of-handholding-500c2bd8" href="https://www.wsj.com/articles/ai-work-assistants-need-a-lot-of-handholding-500c2bd8" data-mce-selected="inline-boundary"> (13)</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 4)

Two Surgeons Wearing Augmented Reality Headsets And Using High-Precision Remote Controlled Robot Arms To Operate On Patient In Futuristic Hospital. Doctors Working With Robotic Limbs, Observing Vitals

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 3)&nbsp;</h3><h3> Výzvy při aplikacích LLMs v medicíně (Přesnost a spolehlivost)</h3>⚠️ Přesnost je klíčovým aspektem při aplikaci velkých jazykových modelů (LLMs) napříč různými obory, včetně medicíny. Přesnost těchto modelů je ovlivněna mnoha faktory, jako jsou velikost a architektura modelu, metody trénování, zdroje dat, ale také způsob, jakým jsou formulována zadání (prompty). Správné pochopení těchto faktorů je klíčem k plnému využití potenciálu LLMs a minimalizaci rizik.Pojďme si to rozebrat:🔎 Velikost modelu vs. výkonObvykle platí, že větší modely (s více parametry) dosahují lepších výsledků, ale vyžadují také více výpočetních zdrojů. Proto se používají optimalizační techniky, jako je knowledge distillation, která umožňuje menším modelům, jako je DistilBERT, dosáhnout téměř stejného výkonu při snížení velikosti o 40 % (1). Podobně menší modely, jako LLaMA-7B a SantaCoder, trénované na větších datových sadách, nabízejí srovnatelný výkon s většími modely (aneb delší doba tréninku se vyplácí) (2). Chinchilla scaling laws ukazují, jak dosáhnout optimální rovnováhy mezi velikostí modelu a množstvím tréninkových dat (3).💡 Emergentní chování V souvislosti s velikostí modelů je důležité zmínit, že když velké jazykové modely dosáhnou určité velikosti, začínají projevovat tzv. emergentní chování. To znamená, že získávají schopnosti, které nebyly při tréninku explicitně naprogramovány ani očekávány. Jedním z příkladů je few-shot learning, tedy situace, kdy se model dokáže učit a generalizovat na základě pouhých několika příkladů v promptu. Tato schopnost je součástí širšího mechanismu promptování zvaného in-context learning (ICL), kdy model upravuje své chování na základě příkladů, které mu "nahráváme" přímo v kontextu zadání (4).🛠️ Význam prompt engineeringuVýkon jazykových modelů závisí nejen na technických parametrech modelu, ale také na způsobu, jakým s ním komunikujeme – tedy na tzv. prompt engineeringu. Ten zahrnuje nejen techniky jako In-Context Learning (ICL) a zásady správné tvorby promptů (5), ale také formátování promptů. Ukazuje se, že různé formáty promptů mohou vést k výrazným rozdílům ve výkonu modelu (6). Proto je nezbytné systematicky testovat a upravovat formátování promptů, aby bylo dosaženo optimálních výsledků. Systematické hodnocení LLMs (srovnávací tabulky na specializovaných webech či studie) by navíc nemělo být založeno pouze na fixních promptech, ale mělo by zahrnovat i variabilitu formátů.⚠️ Halucinace a rizikaJedním z hlavních problémů velkých jazykových modelů (LLMs) je fenomén halucinací – generování odpovědí, které jsou fakticky nesprávné, ale vypadají věrohodně (7). To je zvláště nebezpečné v medicíně. I když se modely neustále zdokonalují, je důležité porovnávat jejich výkon s lidmi (kteří také dělají chyby) a dalšími modely jako baseline. V některých oblastech, jako jsou lékařské zkoušky (board-style examinations), již LLMs vykazují srovnatelné nebo nižší míry chyb než lidé (8, 9).🔗 Kombinace LLM s dalšími technologiemiIntegrace velkých jazykových modelů (LLMs) s pokročilými technologiemi nabízí značný potenciál ke zvýšení přesnosti a kontroly nad jejich "myšlenkovými" procesy. Jednou ze slibných metod je Retrieval-Augmented Generation (RAG), která umožňuje LLMs přístup k externím databázím, čímž rozšiřují znalostní bázi a zajišťují aktuálnost informací (10, 11). RAG rovněž usnadňuje ověřování zdrojů (odkazují na zdroj), čímž nejen zlepšuje přesnost výstupů, ale i zvyšuje spolehlivost modelů a omezuje tak problémy vyplývající ze stochastické povahy LLMs.Kromě RAG existují další metody ke zlepšení výkonu LLMs, jako je zmíněný "In-Context Learning (ICL)" nebo "Chain-of-Thought" techniky v rámci promptingu, které lze použít k efektivnějšímu řízení myšlenkového procesu modelu (12) a jsou základní esencí nově chystaného GPT-o1. Dále lze využít "control vectors" (13), nastavení "temperature" modelu (14) nebo nastavení "seed" (15) ke zvýšení reprodukovatelnosti výstupů. Celkově tyto strategie přispívají ke zlepšení přesnosti, spolehlivosti a robustnosti generovaných výsledků.Reference: <a data-mce-href="https://arxiv.org/abs/1910.01108" href="https://arxiv.org/abs/1910.01108">(1)</a>, <a data-mce-href="https://www.harmdevries.com/post/model-size-vs-compute-overhead/" href="https://www.harmdevries.com/post/model-size-vs-compute-overhead/">(2)</a>, <a data-mce-href="https://arxiv.org/pdf/2203.15556" href="https://arxiv.org/pdf/2203.15556">(3)</a>, <a data-mce-href="https://arxiv.org/pdf/2206.07682" href="https://arxiv.org/pdf/2206.07682">(4)</a>, <a data-mce-href="https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api" href="https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api">(5)</a>, (<a data-mce-href="https://arxiv.org/pdf/2310.11324" href="https://arxiv.org/pdf/2310.11324">6)</a>, <a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/37735041/" href="https://pubmed.ncbi.nlm.nih.gov/37735041/">(7)</a>, <a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">(8)</a>, <a data-mce-href="https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2249588" href="https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2249588">(9)</a>, <a data-mce-href="https://arxiv.org/abs/2312.10997" href="https://arxiv.org/abs/2312.10997">(10)</a>, <a data-mce-href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/#:~:text=Generation%20(RAG)?-,Retrieval-augmented%20generation%20(RAG)%20is%20a%20technique%20for%20enhancing,how%20many%20parameters%20they%20contain" href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/#:~:text=Generation%20(RAG)?-,Retrieval-augmented%20generation%20(RAG)%20is%20a%20technique%20for%20enhancing,how%20many%20parameters%20they%20contain">(11)</a>, <a data-mce-href="https://arxiv.org/abs/2201.11903" href="https://arxiv.org/abs/2201.11903">(12)</a>, <a data-mce-href="https://arxiv.org/abs/2310.01405" href="https://arxiv.org/abs/2310.01405">(13)</a>, <a data-mce-href="https://www.iguazio.com/glossary/llm-temperature/" href="https://www.iguazio.com/glossary/llm-temperature/">(14)</a>, <a data-mce-href="https://drlee.io/control-openai-model-behavior-with-seed-step-by-step-with-code-9bba4e137a63" href="https://drlee.io/control-openai-model-behavior-with-seed-step-by-step-with-code-9bba4e137a63">(15)</a>

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 3)

medical technology Doctors will use AI robots to diagnose, care for, and increase the accuracy of patient treatment in the future. Medical research and innovation development

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 2)</h3>🏥 Význam LLM ve zdravotnických aplikacích Vzhledem k současné situaci ve zdravotnictví, kdy narůstající množství dokumentace omezuje čas, který zdravotníci mohou věnovat pacientům, a zvyšuje celkové zatížení personálu, což vede ke stresu a syndromu vyhoření (1), je nutné hledat efektivní řešení (algoritmy), která by mohla pomoci.&nbsp;🛠️ Neexistuje univerzální AI algoritmus Každý algoritmus má svůj způsob, jak přistupuje k řešení problémů. V oblasti AI platí teorie "no free lunch" – žádný algoritmus není nejlepší pro všechny úlohy (2). Přestože jsou LLM populární, více než 90 % AI aplikací stále využívá tradiční metody strojového učení (3).📝 LLM a zdravotnická dokumentace LLM excelují v extrakci informací, klasifikaci a generování textů. Studie Stanfordu ukazuje, že shrnutí lékařských textů vytvořená pomocí LLM jsou srovnatelná nebo lepší než ta vytvořená lékaři. Zapojení této technologie by tak mohlo významně snížit administrativní zátěž (4).🤖 Chatboti ve zdravotnictví Další aplikací, kde jsou LLM vhodné a ukazují pokročilé schopnosti, jsou chatboti. Ve zdravotnickém kontextu stojí za zmínku projekt ChatDoctor (5), který byl trénován na velkém množství medicínské literatury. Tento model cílí na poskytování inteligentních zdravotnických rad, analýzu symptomů a návrhy léčby, avšak je momentálně určen pouze pro akademický výzkum kvůli nekomerční licenci, absenci zdravotnické certifikace a nedostatečným bezpečnostním opatřením.💊 Aplikace LLM pro regulační procesy LLM mohou zlepšit regulační procesy FDA díky efektivnějšímu hodnocení dokumentace. Model BERT byl testován na automatickou klasifikaci textů z dokumentace výrobců léčiv do standardizovaných sekcí, což by usnadnilo hodnocení bezpečnosti a účinnosti. Výsledky ukázaly vysokou přesnost klasifikace a potvrdily potenciál LLM pro zlepšení regulačního procesu (6).🧠 Další aplikace LLM LLM mají také potenciál být využity v různých dalších oblastech, včetně lékařského výzkumu a vzdělávání (7, 8, 9), při podpoře klinických rozhodnutí (10) a při zlepšení komunikace s pacienty (11).&nbsp;Reference:&nbsp;<a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/31438114/" href="https://pubmed.ncbi.nlm.nih.gov/31438114/">[1]</a> <a data-mce-href="https://sfi-edu.s3.amazonaws.com/sfi-edu/production/uploads/sfi-com/dev/uploads/filer/3c/34/3c34c50b-4ea5-4715-b9eb-813fb7085504/95-02-010.pdf" href="https://sfi-edu.s3.amazonaws.com/sfi-edu/production/uploads/sfi-com/dev/uploads/filer/3c/34/3c34c50b-4ea5-4715-b9eb-813fb7085504/95-02-010.pdf">[2]</a> <a data-mce-href="https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai" href="https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai">[3]</a> <a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">[4]</a>&nbsp;<a data-mce-href="https://github.com/Kent0n-Li/ChatDoctor" href="https://github.com/Kent0n-Li/ChatDoctor">[5]</a> <a data-mce-href="https://pubs.acs.org/doi/10.1021/acs.chemrestox.3c00028" href="https://pubs.acs.org/doi/10.1021/acs.chemrestox.3c00028">[6]</a> <a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/37274428/" href="https://pubmed.ncbi.nlm.nih.gov/37274428/">[7]</a> <a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/36981544/" href="https://pubmed.ncbi.nlm.nih.gov/36981544/">[8]</a> <a data-mce-href="https://astr.or.kr/DOIx.php?id=10.4174/astr.2023.104.5.269" href="https://astr.or.kr/DOIx.php?id=10.4174/astr.2023.104.5.269">[9]</a> <a data-mce-href="https://ai.nejm.org/doi/10.1056/AIp2300031" href="https://ai.nejm.org/doi/10.1056/AIp2300031">[10]</a> <a data-mce-href="https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2804309" href="https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2804309">[11]</a>&nbsp;

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 2)

Medical technology concept. Remote medicine. Electronic medical record.

<h3>Úvod do umělé inteligence (AI) a velkých jazykových modelů (LLM)- (Díl 1)</h3>Umělá inteligence (AI), definovaná jako schopnost počítačových systémů vykonávat úkoly, které obvykle vyžadují lidskou inteligenci, se stala klíčovou oblastí růstu. Přitahuje významné investice a vytváří četné pracovní příležitosti. Její aplikace sahají od lékařské diagnostiky a autonomních vozidel po každodenní úkoly, jako jsou doporučení videí. AI systémy fungují tak, že analyzují historická data a identifikují vzory, čímž zlepšují procesy rozhodování. Například AI v obchodě prodávajícím deštníky může objednávat zásoby na základě předpovědi počasí.Pokroky v AI za poslední dekádu byly poháněny dostupností velkých datových sad, zlepšením výpočetního výkonu – především díky lepší reprezentaci čísel, efektivnějšímu přístupu do paměti, menším čipům – a zdokonalením algoritmů strojového učení. Výkon GPU se za posledních 10 let zvýšil tisíckrát (1).Generativní umělá inteligence a velké jazykové modely (LLM)Generativní umělá inteligence zahrnuje systémy schopné vytvářet nový obsah, jako jsou texty, obrázky nebo hudba. Příkladem je ChatGPT od OpenAI, který je poháněn velkým jazykovým modelem (LLM), což je podkategorie foundation modelů. Tyto modely jsou trénovány na obrovském množství nestrukturovaných dat, což jim umožňuje učit se vzorů a generovat nový obsah. Termín „foundation models“ jako takový zavedl tým ze Stanfordu (2), který zároveň předpověděl jejich široké využití.Foundation modely umožňují přenos znalostí mezi úkoly (tasks) a díky ladění (tuning) dokážou případně vykonávat řadu dalších úkolů s minimem nových dat. Navzdory svému výkonu mají své omezení, například vysoké výpočetní náklady a problémy s důvěryhodností výstupu. Tradiční modely strojového učení naopak vyžadují velké množství označených dat a jsou specifické pro daný úkol, což činí vývoj a aplikaci nových řešení časově náročným a nákladným (2).Pokrok v oblasti zpracování přirozeného jazyka a multimodální AIPrůlom v zpracování přirozeného jazyka nastal s vynálezem Transformer Language Models v roce 2017 (3). Tyto modely umožnily výrazně zlepšit schopnost zpracování jazyka a jsou použitelné pro širokou škálu úkolů, čímž položily základy pro vznik velkých jazykových modelů (LLMs). Velké jazykové modely (LLMs) excelují ve třech hlavních oblastech: extrakci informací, klasifikaci a generování textu. V těchto oblastech jsou používány pro efektivní a přesné získávání dat, kategorizaci a tvorbu textů.OpenAI je známá svými pokročilými modely ChatGPT, které byly spuštěny na konci roku 2022 (4). Nedávno představený GPT-4o (Omni) představuje významný pokrok v multimodální AI, schopný zpracovávat a generovat výstupy napříč různými modalitami, včetně textu, audia, obrazu a videa. S dobou odezvy pouhých 232 milisekund pro zvukové vstupy se přibližuje rychlosti lidského rozhovoru (5). Existuje také menší a nákladově efektivnější verze s názvem GPT-4o mini (6).Omezení a budoucí vývoj umělé inteligenceJe důležité si uvědomit, že i když jsou tyto technologie užitečné, stále jsou to jen algoritmy. Algoritmy se učí z historických dat a mohou selhat při setkání s novými daty. Například v medicínské aplikaci strojového vidění umělá inteligence pověřená identifikací zlomeniny na lidské páteři vůbec nepoznala, že místo lidské páteře jí byl poskytnut obraz rybího skeletu, a halucinovala zdánlivě správný výsledek. To vše proto, že takový scénář nebyl zahrnut v trénovacích datech.Konečným cílem iniciativ v oblasti umělé inteligence, včetně OpenAI, je dosáhnout AGI (Obecné umělé inteligence), tedy AI schopné vykonávat jakýkoli intelektuální úkol, který zvládne člověk. Podle článku Google DeepMind (7) lze AGI definovat jako technologii, která se postupně vyvíjí od pokroků ve specifických oblastech, jako je rozpoznávání textu nebo tvorba obrazů (kde již dnes může AI člověka překonat), až po schopnost samostatně fungovat v širokém spektru oblastí (obecné schopnosti). AGI má tedy potenciál nejen zásadně proměnit medicínu, ale i zcela změnit svět. Přesto pokrok směrem k AGI v oblasti obecných schopností stále vyžaduje mnoho zlepšení a výzkumníci čelí řadě výzev, které je nutné překonat.Reference: <a data-mce-href="https://www.nextplatform.com/2023/03/31/a-peek-into-the-future-of-ai-inference-at-nvidia/" href="https://www.nextplatform.com/2023/03/31/a-peek-into-the-future-of-ai-inference-at-nvidia/">[1]</a> <a data-mce-href="https://arxiv.org/abs/2108.07258" href="https://arxiv.org/abs/2108.07258">[2]</a> <a data-mce-href="https://arxiv.org/abs/1706.03762" href="https://arxiv.org/abs/1706.03762">[3]</a> <a data-mce-href="https://openai.com/index/chatgpt/" href="https://openai.com/index/chatgpt/">[4]</a>&nbsp;<a data-mce-href="https://openai.com/index/hello-gpt-4o/" href="https://openai.com/index/hello-gpt-4o/">[5]</a> <a data-mce-href="https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/" href="https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/">[6]</a> <a data-mce-href="https://arxiv.org/abs/2311.02462" href="https://arxiv.org/abs/2311.02462">[7]</a>

Úvod do umělé inteligence (AI) a velkých jazykových modelů (LLM) - (Díl 1)

DrSova

Medicine, AI

Raleway

Open Sans

Ubuntu

Cabin

Tento web používá soubory cookies. Cookies slouží k zvyšování kvality služeb, personalizaci nabídky, sběru anonymních dat a pro analytické účely v naší prezentaci. Dalším procházením tohoto webu vyjadřujete souhlas s jejich používáním.

Blog

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...

Úvod do umělé inteligence (AI) a velkých jazykových model...