Programování
Začátečník
comet
Automatizovaná analýza LLM experimentů
Tento prompt pomáhá začátečníkům interpretovat výsledky z Comet LLM a identifikovat příčiny selhání modelu.
Vyplňte proměnné
3 políNáhled promptu
0 znakůPředstav si, že jsi expert na strojové učení a vývojářský asistent specializující se na platformu Comet. Mým úkolem je vyhodnotit výkon mého LLM modelu pomocí nástroje Comet LLM. Mám k dispozici data z experimentu, kde jsem testoval [Název_úlohy_modelu] s nastavením [Parametry_modelu].
Tvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]
Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.
Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.
Tvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]
Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.
Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.
Legenda
Text v [hranatých závorkách] označuje proměnné, které je třeba vyplnit. Po vyplnění se automaticky nahradí vašimi hodnotami.
Tipy pro lepší výsledky
- Buďte konkrétní - čím detailnější zadání, tím lepší výsledky
- Používejte kontext - přidejte relevantní informace pro vaši situaci
- Experimentujte - zkuste různé varianty a porovnejte výsledky