Budoucnost lékařské praxe: AI a velké jazykové modely (díl 3)

Výzvy při aplikacích LLMs v medicíně (Přesnost a spolehlivost)

⚠️ Přesnost je klíčovým aspektem při aplikaci velkých jazykových modelů (LLMs) napříč různými obory, včetně medicíny. Přesnost těchto modelů je ovlivněna mnoha faktory, jako jsou velikost a architektura modelu, metody trénování, zdroje dat, ale také způsob, jakým jsou formulována zadání (prompty). Správné pochopení těchto faktorů je klíčem k plnému využití potenciálu LLMs a minimalizaci rizik.

Pojďme si to rozebrat:

🔎 Velikost modelu vs. výkon

Obvykle platí, že větší modely (s více parametry) dosahují lepších výsledků, ale vyžadují také více výpočetních zdrojů. Proto se používají optimalizační techniky, jako je knowledge distillation, která umožňuje menším modelům, jako je DistilBERT, dosáhnout téměř stejného výkonu při snížení velikosti o 40 % (1). Podobně menší modely, jako LLaMA-7B a SantaCoder, trénované na větších datových sadách, nabízejí srovnatelný výkon s většími modely (aneb delší doba tréninku se vyplácí) (2). Chinchilla scaling laws ukazují, jak dosáhnout optimální rovnováhy mezi velikostí modelu a množstvím tréninkových dat (3).

💡 Emergentní chování

V souvislosti s velikostí modelů je důležité zmínit, že když velké jazykové modely dosáhnou určité velikosti, začínají projevovat tzv. emergentní chování. To znamená, že získávají schopnosti, které nebyly při tréninku explicitně naprogramovány ani očekávány. Jedním z příkladů je few-shot learning, tedy situace, kdy se model dokáže učit a generalizovat na základě pouhých několika příkladů v promptu. Tato schopnost je součástí širšího mechanismu promptování zvaného in-context learning (ICL), kdy model upravuje své chování na základě příkladů, které mu "nahráváme" přímo v kontextu zadání (4).

🛠️ Význam prompt engineeringu

Výkon jazykových modelů závisí nejen na technických parametrech modelu, ale také na způsobu, jakým s ním komunikujeme – tedy na tzv. prompt engineeringu. Ten zahrnuje nejen techniky jako In-Context Learning (ICL) a zásady správné tvorby promptů (5), ale také formátování promptů. Ukazuje se, že různé formáty promptů mohou vést k výrazným rozdílům ve výkonu modelu (6). Proto je nezbytné systematicky testovat a upravovat formátování promptů, aby bylo dosaženo optimálních výsledků. Systematické hodnocení LLMs (srovnávací tabulky na specializovaných webech či studie) by navíc nemělo být založeno pouze na fixních promptech, ale mělo by zahrnovat i variabilitu formátů.

⚠️ Halucinace a rizika

Jedním z hlavních problémů velkých jazykových modelů (LLMs) je fenomén halucinací – generování odpovědí, které jsou fakticky nesprávné, ale vypadají věrohodně (7). To je zvláště nebezpečné v medicíně. I když se modely neustále zdokonalují, je důležité porovnávat jejich výkon s lidmi (kteří také dělají chyby) a dalšími modely jako baseline. V některých oblastech, jako jsou lékařské zkoušky (board-style examinations), již LLMs vykazují srovnatelné nebo nižší míry chyb než lidé (8, 9).

🔗 Kombinace LLM s dalšími technologiemi

Integrace velkých jazykových modelů (LLMs) s pokročilými technologiemi nabízí značný potenciál ke zvýšení přesnosti a kontroly nad jejich "myšlenkovými" procesy. Jednou ze slibných metod je Retrieval-Augmented Generation (RAG), která umožňuje LLMs přístup k externím databázím, čímž rozšiřují znalostní bázi a zajišťují aktuálnost informací (10, 11). RAG rovněž usnadňuje ověřování zdrojů (odkazují na zdroj), čímž nejen zlepšuje přesnost výstupů, ale i zvyšuje spolehlivost modelů a omezuje tak problémy vyplývající ze stochastické povahy LLMs.

Kromě RAG existují další metody ke zlepšení výkonu LLMs, jako je zmíněný "In-Context Learning (ICL)" nebo "Chain-of-Thought" techniky v rámci promptingu, které lze použít k efektivnějšímu řízení myšlenkového procesu modelu (12) a jsou základní esencí nově chystaného GPT-o1. Dále lze využít "control vectors" (13), nastavení "temperature" modelu (14) nebo nastavení "seed" (15) ke zvýšení reprodukovatelnosti výstupů. Celkově tyto strategie přispívají ke zlepšení přesnosti, spolehlivosti a robustnosti generovaných výsledků.

Reference: (1), (2), (3), (4), (5), (6), (7), (8), (9), (10), (11), (12), (13), (14), (15)