Automatizovaná analýza LLM experimentů
Tento prompt pomáhá začátečníkům interpretovat výsledky z Comet LLM a identifikovat příčiny selhání modelu.
Prompt text
Tvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]
Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.
Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.
Příklad použití
Vstup:
Parametry: Temperature 0.7, model gpt-3.5-turbo
Data z Comet:
- Faithfulness score: 0.65
- Latency: 1.2s
- User feedback: "Model často halucinuje u technických specifikací produktů."
Výstup:
1. Analýza slabin: Skóre 'Faithfulness' (0.65) je příliš nízké, což potvrzuje tvou domněnku o halucinacích. Model si vymýšlí technické parametry místo toho, aby čerpal z dodaných dat.
2. Doporučení:
- Sniž 'Temperature' na 0.2, aby byl model determinističtější.
- Implementuj RAG (Retrieval-Augmented Generation) a ujisti se, že do kontextu v Comet vkládáš správné technické listy.
3. Vysvětlení metrik: 'Faithfulness' měří, zda je odpověď věrná zdroji. Pokud je nízká, model ignoruje fakta.
4. Postup:
- V Comet přejdi do sekce 'Traces' a najdi konkrétní konverzaci s halucinací.
- Uprav systémový prompt tak, aby obsahoval instrukci: "Pokud si nejsi jistý technickým parametrem, odpověz 'Nevím'."
- Znovu spusť experiment v Comet a porovnej nové skóre 'Faithfulness' s původním.
Kde použít tento prompt?
Najděte vhodné AI nástroje pro použití tohoto promptu a maximalizujte jeho efektivitu.
Podobné prompty
Advanced AI Features - Deep Dive do Pokročilých Funkcí
Komplexní průvodce pokročilými funkcemi AI nástrojů - od extended context a multimodality po tool use, streaming, a fine-tuning. Naučte se využívat plný potenciál moderních AI systémů.
Algoritmus optimalizace
Optimalizace algoritmu z O(n²) na O(n log n) nebo lepší.
API design s REST best practices
Návrh RESTful API s dokumentací a error handling.
Architekt komplexní SaaS aplikace
Generování kompletní struktury a UI komponent pro SaaS aplikaci na platformě Lovable.
Objevte další AI prompty
Prozkoumejte naši sbírku Programování promptů a najděte ty, které vám pomohou dosáhnout lepších výsledků.