LangSmith

LangSmith je platforma pro sledování, testování a vyhodnocování aplikací, které používají velké jazykové modely (LLM), tedy například chatboty nebo AI agenty. Vyvíjí ji firma LangChain, která stojí také za stejnojmenným open-source frameworkem. Podle oficiálních materiálů ale LangSmith nevyžaduje, abyste LangChain používali: podporuje i aplikace postavené přímo na OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex nebo na vlastním kódu, a také standard OpenTelemetry.

Základní myšlenka je jednoduchá. Když AI aplikace odpovídá, děje se uvnitř několik kroků: dotaz na model, vyhledání v databázi, volání nástroje, další dotaz na model. LangSmith tyto kroky zaznamenává jako takzvané trasování (trace), takže vývojář může zpětně vidět, co přesně model dostal, co vrátil, jak dlouho to trvalo a kolik to stálo. Podle oficiálního webu jsou k dispozici SDK pro Python, TypeScript, Go a Java a pro populární frameworky agentů existuje nativní trasování.

Druhou částí je vyhodnocování kvality. LangSmith umožňuje vytvářet testovací sady a spouštět na nich evaluace, a to i v produkci formou online hodnocení, kdy jiný model hodnotí odpovědi (LLM-as-judge), nebo pomocí vlastních kontrolních skriptů. Podle oficiální stránky dále nabízí monitorování nákladů a latence v reálném čase, vlákna zpráv pro vícekolové konverzace a funkci Insights, která automaticky analyzuje a shlukuje trasování. Uvádí se také vlastní databáze SmithDB navržená pro dotazy nad trasováním agentů. Výkonnostní tvrzení výrobce (odezva pod sekundu nad miliony trasování) jsme nemohli nezávisle ověřit.

Recenze na G2 uvádějí průměrné hodnocení 4,4 z 5 na základě 44 recenzí. Chváleny jsou přehledné dashboardy, dokumentace a krátká cesta od instalace k prvnímu trasování; nativní napojení na LangChain a LangGraph je označováno za výhodu. Z kritiky a srovnání plyne, že nástroj vyžaduje čas na pochopení konceptů pozorovatelnosti a evaluací, že vlastní hostování (self-hosted) je vyhrazeno tarifu Enterprise a že mimo jeho jádro stojí například směrování dotazů přes bránu (gateway) nebo cachování odpovědí.

Ceník je založen na počtu uživatelů a na spotřebě. Podle oficiální stránky je plán Developer zdarma pro jednoho vývojáře a zahrnuje do 5 tisíc základních trasování měsíčně, poté se platí podle spotřeby. Plán Plus stojí 39 USD za uživatele měsíčně a zahrnuje do 10 tisíc základních trasování, poté rovněž platba podle spotřeby. Enterprise je na míru a nabízí self-hosted a hybridní nasazení. Spotřeba nasazení se účtuje v jednotkách LCU (1,50 USD) a LSU (1,00 USD). Startupy podporované rizikovým kapitálem mohou získat slevy a kredity až 10 000 USD. Ceny se mění, proto si je před nákupem ověřte.

Pro české uživatele je podstatné umístění dat. Spravovaný cloud standardně ukládá data v GCP v USA, ale podle dokumentace je evropská datová rezidence dostupná ve všech tarifech bez příplatku na samostatné adrese eu.smith.langchain.com. Výrobce uvádí shodu s GDPR, certifikaci SOC 2 Type 2 a možnost podepsat dodatek o zpracování dat (DPA) na vyžádání. Protože trasování obsahuje vstupy a výstupy vašeho modelu, může obsahovat osobní údaje, takže citlivé údaje je třeba před odesláním maskovat nebo zvolit vhodné nasazení.

Čeština: rozhraní a dokumentace jsou podle dostupných zdrojů anglicky, česká lokalizace nebyla nalezena. Nástroj sám o sobě žádné odpovědi nevytváří, takže jazyk odpovědí závisí na modelu, který ve své aplikaci používáte. Prompty a testovací data v češtině lze ukládat a vyhodnocovat, ale kvalitu českého hodnocení modelem-soudcem je nutné ověřit. Pro úplné začátečníky, kteří AI jen používají v chatu, LangSmith smysl nemá; je určen těm, kdo AI aplikace programují.

Poznámka redakce: nástroj jsme nevyzkoušeli, popis vychází z oficiálních stránek a z recenzí třetích stran.