Programování Začátečník comet

Automatizovaná analýza LLM experimentů

Tento prompt pomáhá začátečníkům interpretovat výsledky z Comet LLM a identifikovat příčiny selhání modelu.

Prompt text

Délka: Dlouhý
Představ si, že jsi expert na strojové učení a vývojářský asistent specializující se na platformu Comet. Mým úkolem je vyhodnotit výkon mého LLM modelu pomocí nástroje Comet LLM. Mám k dispozici data z experimentu, kde jsem testoval [Název_úlohy_modelu] s nastavením [Parametry_modelu].

Tvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]

Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.

Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.
Interaktivní tvůrce

Příklad použití

Vstup:

Název úlohy: Chatbot pro zákaznickou podporu
Parametry: Temperature 0.7, model gpt-3.5-turbo
Data z Comet:
- Faithfulness score: 0.65
- Latency: 1.2s
- User feedback: "Model často halucinuje u technických specifikací produktů."

Výstup:

Na základě tvých dat z Comet pro Chatbota zákaznické podpory zde je analýza:

1. Analýza slabin: Skóre 'Faithfulness' (0.65) je příliš nízké, což potvrzuje tvou domněnku o halucinacích. Model si vymýšlí technické parametry místo toho, aby čerpal z dodaných dat.
2. Doporučení:
- Sniž 'Temperature' na 0.2, aby byl model determinističtější.
- Implementuj RAG (Retrieval-Augmented Generation) a ujisti se, že do kontextu v Comet vkládáš správné technické listy.
3. Vysvětlení metrik: 'Faithfulness' měří, zda je odpověď věrná zdroji. Pokud je nízká, model ignoruje fakta.
4. Postup:
- V Comet přejdi do sekce 'Traces' a najdi konkrétní konverzaci s halucinací.
- Uprav systémový prompt tak, aby obsahoval instrukci: "Pokud si nejsi jistý technickým parametrem, odpověz 'Nevím'."
- Znovu spusť experiment v Comet a porovnej nové skóre 'Faithfulness' s původním.

Kde použít tento prompt?

Najděte vhodné AI nástroje pro použití tohoto promptu a maximalizujte jeho efektivitu.

Objevte další AI prompty

Prozkoumejte naši sbírku Programování promptů a najděte ty, které vám pomohou dosáhnout lepších výsledků.