Nepotřebujete drahý model. Stačí malý a dobře navržené workflow

Často slyšíme: „Chceme AI, ale ten nejlepší model je moc drahý.“ Dobrá zpráva je, že ho většinou vůbec nepotřebujete. O kvalitě výsledku rozhoduje víc to, jak je úloha navržená, než jak velký model ji řeší.

Velký model je jako zaměstnat profesora na třídění pošty

Největší modely umějí psát eseje, programovat, překládat i radit s obchodní strategií. Platíte za všechny tyto schopnosti, i když jich využijete zlomek.

Typické firemní úlohy jsou přitom úzké:

zařadit e-mail do jedné z pěti kategorií,
vytáhnout z faktury dodavatele, datum a částku,
poznat, jestli zpráva obsahuje reklamaci,
shrnout dotaz zákazníka do dvou vět,
přeložit krátký text.

Na takové úlohy stačí malý model: levnější, rychlejší a často dostupný i ke spuštění na vlastním počítači nebo serveru.

Proč malý model stačí

Malý model sám o sobě chybuje víc než velký. Rozdíl ale z velké části zmizí, když mu dobře připravíte práci:

Jedna úloha, jedna otázka. Místo „zpracuj tenhle e-mail“ se ptáme „do které z těchto kategorií patří?“. Úzká otázka je pro malý model snadná.
Krátký a čistý vstup. Workflow předem odstraní podpisy, citace starších zpráv a reklamní patičky. Model čte jen to podstatné.
Pevný formát odpovědi. Model vrací hodnotu ze seznamu nebo vyplněnou šablonu. Odpověď, která do formátu nepasuje, workflow pozná a vrátí.
Kontrola pravidlem. Součty na faktuře se přepočítají, IČO se ověří v registru, datum musí být platné.
Člověk pro výjimky. Co model neumí s jistotou zařadit, jde k člověku. Ten řeší pár procent případů místo všech.

Dobře navržené workflow tak nese velkou část „inteligence“ samo. Model je jen jeden šroubek v dobře postaveném stroji.

Co tím získáte

Nižší náklady. Malé modely stojí za stejné množství textu zlomek ceny velkých. Při tisících dokumentů měsíčně je rozdíl znát.
Rychlost. Odpověď přijde rychleji, workflow běží plynuleji.
Soukromí. Malý model lze provozovat lokálně. Citlivá data, například osobní údaje nebo smlouvy, pak neopouštějí vaši firmu. To výrazně usnadňuje soulad s GDPR.
Nezávislost. Nejste vázáni na jednoho dodavatele. Když se změní ceny, model vyměníte a workflow zůstane.
Předvídatelnost. Úzká úloha s kontrolou výstupu se chová stabilně. Víte, co od ní čekat.

Kdy se velký model hodí

Abychom byli féroví: jsou úlohy, kde velký model dává smysl. Například návrh delšího textu, složitá analýza smlouvy nebo práce s velmi různorodými dokumenty. I tehdy ale doporučujeme, aby velký model byl jedním krokem pod kontrolou, ne řídicím centrem. A často se vyplatí kombinace: malý model vyřeší běžné případy a jen ty složité pošle velkému.

Jak postupujeme my

Rozložíme proces na kroky a zjistíme, které zvládnou obyčejná pravidla bez AI.
Zbylé kroky zúžíme na co nejjednodušší otázky.
Vyzkoušíme nejmenší model, který úlohu spolehlivě zvládne, na vašich skutečných datech.
Přidáme kontroly a záznam každého běhu, aby bylo vidět, co se děje.
Teprve když malý model nestačí, sáhneme po větším, a jen pro daný krok.

Výsledek je automatizace, která je levná na provoz, srozumitelná a dá se dál rozvíjet.

Chcete vědět, kolik by vás stála AI ve vašich procesech, kdyby byla navržená rozumně? Domluvte si hovor zdarma nebo si přečtěte, proč se vyhýbáme černým skříňkám velkých modelů.