LlamaIndex

LlamaIndex je open-source toolkit pro stavbu aplikací postavených na jazykových modelech (LLM), které pracují s vašimi vlastními daty. Podle dokumentace jde o Python framework s licencí MIT, který nabízí komponenty pro agenty, workflow a takzvaný RAG (retrieval-augmented generation). Doplňuje se TypeScript podporou přes související projekty, například create-llama. Za projektem stojí stejnojmenná firma, která podle svých stránek uvádí přes 300 tisíc uživatelů a zákazníky jako KPMG, Carlyle, Cemex nebo Intel.

Princip RAG je jednoduchý: dokumenty se rozdělí na části, uloží do indexu (obvykle vektorové databáze) a při dotazu se najdou nejrelevantnější pasáže, které se předají jazykovému modelu jako kontext. Model tak odpovídá na základě vašich dat, aniž by se musel znovu trénovat. LlamaIndex pro tento postup poskytuje hotové stavební kameny: načítání dat z různých zdrojů (konektory), indexy, vyhledávací a dotazovací enginy. Základní verze se dá rozběhnout instalací přes pip install llama-index.

Dokumentace uvádí čtyři hlavní pilíře: agenty (asistenty, kteří používají nástroje a provádějí akce), workflows (událostmi řízené vícekrokové procesy s větvením a opakováním), RAG pipeline a integraci dat. Vysokoúrovňové API slouží k rychlému prototypu, nižší vrstvy umožňují upravit jednotlivé části.

Druhou částí nabídky je cloud. Hlavním produktem je podle webu LlamaParse, služba pro převod složitých dokumentů (tabulky, grafy, ručně psaný text, obrázky, přes 50 typů souborů) na strukturovaná data použitelná pro AI. Zahrnuje také extrakci dat podle schématu, dělení a klasifikaci dokumentů. Firma nabízí i open-source nástroj LiteParse, který podle webu běží lokálně bez cloudu a bez nákladů na tokeny LLM. Tvrzení výrobce o výkonu (například „4x levnější a 5x přesnější“) pocházejí z jejich vlastního benchmarku a nezávisle jsme je neověřovali.

Oproti alternativám se LlamaIndex podle srovnávacích článků profiluje jako framework zaměřený na kvalitu vyhledávání v dokumentech, zatímco LangChain je širší orchestrační nástroj pro agenty a řetězce. Recenze ale zároveň uvádějí, že se schopnosti obou frameworků překrývají a řada týmů je v produkci kombinuje: LlamaIndex jako vrstvu pro vyhledávání uvnitř agenta postaveného jinde. Počty hvězdiček na GitHubu z jednoho srovnání (asi 44 tisíc u LlamaIndexu oproti 119 tisícům u LangChainu) ukazují menší, ale stále velkou komunitu.

Kde to drhne: pro úplného začátečníka je vstupní bariéra vysoká. Potřebujete umět programovat, mít API klíč k nějakému LLM (ten se platí zvlášť podle spotřeby u jeho poskytovatele) a rozumět základům RAG. Kvalita výsledků závisí na volbě modelu, dělení textu i vektorové databázi. V cloudu se platí kredity za stránku a ceny se liší podle režimu a regionu, takže náklady u velkého objemu dokumentů nejsou předem zřejmé.

Čeština: samotný framework je knihovna bez uživatelského rozhraní, takže jazyk odpovědí určuje použitý LLM a embedding model. Podporu češtiny v LlamaIndexu ani v LlamaParse jsme v oficiálních materiálech nenašli a nelze ji potvrdit. Pro evropské uživatele je relevantní, že firma nabízí EU instanci cloudu hostovanou v AWS ve Frankfurtu a dohodu o zpracování dat (DPA) se standardními smluvními doložkami.

Shrnutí pro začátečníka: pokud si chcete jen povídat s vlastními PDF, hledejte hotovou aplikaci. LlamaIndex dává smysl, když chcete nebo potřebujete vlastní řešení, a to buď jako vývojář, nebo ve firmě, která má vývojáře.