Programování Začátečník comet

Automatizovaná analýza LLM experimentů

Tento prompt pomáhá začátečníkům interpretovat výsledky z Comet LLM a identifikovat příčiny selhání modelu.

Vyplňte proměnné

3 polí

Např. vaše hodnota

Např. vaše hodnota

Např. vaše hodnota

Náhled promptu

0 znaků
Představ si, že jsi expert na strojové učení a vývojářský asistent specializující se na platformu Comet. Mým úkolem je vyhodnotit výkon mého LLM modelu pomocí nástroje Comet LLM. Mám k dispozici data z experimentu, kde jsem testoval [Název_úlohy_modelu] s nastavením [Parametry_modelu].

Tvým úkolem je pomoci mi pochopit výsledky. Analyzuj následující data a výstupy z Comet:
[Vlož_data_z_Comet_zde]

Při analýze se zaměř na tyto body:
1. Identifikuj hlavní slabiny modelu v odpovědích na základě metrik v Comet.
2. Navrhni konkrétní úpravy v promptu nebo hyperparametrech, které by mohly zlepšit přesnost modelu.
3. Vysvětli mi jako začátečníkovi, proč tyto metriky (např. latence, token usage, faithfulness) považuje Comet za klíčové pro můj případ užití.
4. Pokud existují odlehlé hodnoty (outliers) v datech, navrhni, jak je ošetřit nebo jak na ně v rámci trénovací sady reagovat.

Odpovídej srozumitelně, vyhni se přílišnému žargonu a poskytni mi konkrétní postup (krok za krokem), jak tyto změny aplikovat zpět do mého vývojového prostředí v Comet.

Legenda

Text v [hranatých závorkách] označuje proměnné, které je třeba vyplnit. Po vyplnění se automaticky nahradí vašimi hodnotami.

Tipy pro lepší výsledky

  • Buďte konkrétní - čím detailnější zadání, tím lepší výsledky
  • Používejte kontext - přidejte relevantní informace pro vaši situaci
  • Experimentujte - zkuste různé varianty a porovnejte výsledky