Kasu Azterketa: Token kostuen %90eko murrizketa 30 egunetan

Askok hitz egiten dute adimen artifizialaren (AA) "potentziaz", baina gutxik hitz egiten dute fakturaz. Duela gutxi, marketin agentzia batekin aritu ginen, milaka dokumentu prozesatzen eta eduki masiboa sortzen zituena—bere automatizazioen eskala hain handia izan arte, marjinak irentsi arte.

Arazoa: "Hazkunde Mingarria"

Bezeroak GPT-4 erabiltzen zuen milaka iruzkinen sentimendua aztertzeko eta erantzun automatikoak sortzeko. Hazten joan ahala, bere token faktura hilero 1.200 € baino gehiagokoa zen.

Ez zen kostu proibitiboa, baina gastu aldakor kontrolaezina zen. Eragiketa %20 handitzea erabakitakoan, faktura proportzionalki igotzen zen. Bere hazkundea mugatzen ari zen tresnaren kostuagatik.

Neurosinten Interbentzioa

Hiru urratsetan aldaketa aritektural erradikala gauzatu genuen:

1. Lanen Auditoria: Lanen %80 "sailkapen" eta "laburbildura" lanak zirela ikusi genuen; eredu txikiago batek perfektuki egin ditzakeenak.
2. Llama 3 Lokalaren Instalazioa: 2x RTX 3090 duen zerbitzari bat instalatu genuen, eta Llama 3 Ollama bidez optimizatua abiarazi genuen.
3. RAG Lokala: Agentziaren ezagutza-base osoa biltegi bektorial lokal batera migratu genuen.

Emaitza Finantzarioak

Egun gutxitan, 30 egunetan, zenbakiak garbiak ziren:

• Token Kostua: 1.200 €/hilabetetik $\rightarrow$ 0 €/hilabetera.
• Latentzia: %40ko murrizketa, Estatu Batuetako APIra egindako deiak baztertzean.
• Pribatutasuna: Agentziaren bezeroen datuak ez ziren sare publikoan zehar bidaiatzen aurrerantzean.

Benetako ROI

Hardwareak 4.000 € inguru balio zuen. 1.200 €/hilabete aurrezteko erritmoan, inbertsioa 4 hilabete baino gutxiagoan amortizatu zen. Hortik aurrera, sortutako token bakoitza enpresaren irabazi garbia da.

Ondorioa: Utzi Zure Adimen Artifiziala Alokatzen

Kasu honek erakusten du adimen artifiziala (AA) lokala ez dela zaleentzako esperimentua, erabaki finantzario jakina baizik. Datuen bolumena hazten denean, teknologia-soberania eta DBAO (Datuak Babesteko Erregelamendu Orokla) betetzea dira irabilitasuna mantentzeko bide bakarrak. ETEentzat, kode irekia eta kontrolatutako azpiegitura ezinbestekoak dira, hornitzaile bakar batek sortutako lock-in saihesteko.