Saját szuperszámítógép a háttérben

Van egy gép, ami többet dolgozik nálam, mint amennyit el szoktam mesélni róla. Nem a felhőben bérlek kapacitást hozzá, hanem a sajátom, éjjel-nappal bekapcsolva és elérhető. Két erős, GPU-s szerver, amit együtt csak Sparknak hívok. Ez a gép a háttere annak, amit a flottámmal csinálok, és szeretném elmondani, miért döntöttem így, meg hogy pontosan mit is csinál.

Miért nem a felhő

A kézenfekvő út az lett volna, hogy mindent egy nagy szolgáltató felhőjébe teszek, és havonta fizetek a használat után. Sokan így csinálják, és sok esetben tökéletesen jó megoldás. Nekem viszont két dolog nem tetszett benne.

Az egyik az adat. Amikor egy ügyfél anyagát dolgozom fel, vagy a saját tudásbázisomon futtatok valamit, az az anyag a felhős úton kikerül egy külső cég szerverére. Sok munkánál ez nem gond. De van, ahol nagyon is számít, hogy az adat hol van, és ki férhet hozzá. Ha a gép a sajátom, erre a kérdésre egyszerű a válasz: az adat a saját rendszeremen marad, nem kerül külső céghez.

A másik a költség természete. A felhőben minden feldolgozás, minden lekérdezés pénzbe kerül, és a számla a használattal arányosan nő. Ez rendben van, amíg keveset használsz. De ha az AI a napi munkád gerince, és folyamatosan jár, akkor a per-használat modell csendben elszalad. A saját gép megvétele egyszeri, komoly kiadás, viszont utána kiszámítható a költség, nem egy külső cég mérőórája ketyeg minden egyes lekérdezésnél.

Mi ez a gép

Röviden: két saját AI-szerver, erős grafikus processzorokkal, mert az AI-modellek pont ezen a fajta számoláson gyorsak. Nem bérelt felhő-kapacitás, hanem az én gépeim. Egy darabig otthon futottak, de ott az ember hamar korlátba ütközik, ezért ma egy profi szerverteremben állnak. Ott jobbak a feltételek: stabil hűtés, rendes tápellátás és egy tíz gigabites hálózat, ami a nagy anyagoknál sokat számít. A gépeket egy védett hálózaton érem el, nem lógnak a nyílt interneten, és folyamatosan figyelem a terheltségüket, hogy mindig legyen tartalék a következő feladatra.

Fontos különbség: attól, hogy egy szerverteremben áll, még nem lesz belőle felhő. A felhőben egy külső cég közös gépein bérelsz időt. Itt a gép az enyém, a rajta futó programok és megoldások is a sajátjaim, az adat pedig az én kontrollom alatt marad. A profi környezet csak a feltételeket adja hozzá, az irányítást nem veszi el.

Az érdekes rész nem a vas, hanem az, hogy mire használom.

A podcast-vágó, ami magától összerakja a nyersanyagot

A kedvencem a többkamerás podcast-vágó. Aki csinált már videós podcastot, tudja, hogy a felvétel a könnyebbik fele. Utána ott ülsz három kamera felvételével és egy külön hangsávval, és neked kell eldöntened, mikor melyik képet mutasd.

A Sparkra feltöltöm a három kamera anyagát meg a hangot, és a gép elvégzi a robotmunkát. Összeszinkronizálja a hangot a képpel, letisztítja a zajt, és felismeri, hogy éppen ki beszél, tehát melyik kamerára érdemes vágni. Ebből automatikusan összerak egy többkamerás vágási tervet, ami már majdnem kész videó. Van hozzá egy webes szerkesztő, amiben átnézem, finomítom, ahol kell, aztán a gép legenerálja a kész fájlt. Ráadásul magyar feliratot is készít, méghozzá úgy, hogy a beszélők nevét is odaírja.

Az, ami korábban egy este kézi kattintgatás volt, most percek alatt előáll egy jó kiindulási állapotban.

Sparki, a saját asszisztens

Fut a gépen egy saját nyelvi modell is, amit Sparkinak becézek. A használatában olyan, mint egy szokásos AI-asszisztens: kérdezel tőle, ír, összefoglal, keres a weben. A különbség az, hogy helyben fut. Amit beleírok, nem megy ki egy külső szolgáltatóhoz, hanem a saját gépemen marad. Ez a napi munkában felszabadító: nem kell mérlegelnem minden mondatnál, hogy ezt vajon kiadhatom-e.

Mellette van egy jelentés szerinti keresés is a tudásbázisomon. Nem kulcsszóra keres, hanem értelemre: ha valamit körülírsz, megtalálja a kapcsolódó anyagot akkor is, ha egészen más szavakkal írták le. És ha kép kell egy anyaghoz, azt is helyben generálja a gép, nem külső eszközzel.

Miért fontos ez neked

Nem azért írom le mindezt, hogy a gépemmel dicsekedjek. Azért, mert szerintem ez a jövő iránya azoknál, akik komolyan használják az AI-t a munkájukban. A felhő kényelmes és gyors a kezdéshez. De amint az adat érzékeny lesz, vagy a használat komolyra fordul, egyre többet ér, ha az egész nálad van: az adat, az irányítás és a kiszámítható költség.

Nekem ez a gép nem hobbi. Ez a háttere annak, amit nap mint nap leszállítok. És pont ezért merem ajánlani másnak is: az AI akkor válik igazán a tiéddé, amikor nem egy távoli szolgáltatás, hanem egy eszköz a saját kezedben.