Automatizovaná analýza LLM experimentů
Tento prompt pomáhá začátečníkům interpretovat výsledky z Comet LLM a identifikovat příčiny selhání modelu.
Vyplňte proměnné
3 políNáhled promptu
0 znakůTvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]
Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.
Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.
Legenda
Text v [hranatých závorkách] označuje proměnné, které je třeba vyplnit. Po vyplnění se automaticky nahradí vašimi hodnotami.
Tipy pro lepší výsledky
- Buďte konkrétní - čím detailnější zadání, tím lepší výsledky
- Používejte kontext - přidejte relevantní informace pro vaši situaci
- Experimentujte - zkuste různé varianty a porovnejte výsledky