A Huang – akta

https://mp3pintyo.github.io/helios-jh-fable52med/

Egy házasságtörés, egy szingapúri cég 4,8 milliárd dollárnyi chippel, egy titkos hírszerzési feljegyzés — és a világ egyik legértékesebb vállalata, amelyről most derül ki, mennyire egyetlen emberen áll. Összeraktuk a szálakat.

Így készült:
Helios – Unreal-szintű grafika a böngészőben – Jensen Huang botrány

Többügynökös AI rendszer építése – AI ügynök működés

Facebook

A Zirall egy saját fejlesztésű, OpenAI-modellekre és más LLM-ekre épülő személyes asszisztens és ügynökrendszer. Nem egyszerű chatbot: a beszélgető modell egyfajta diszpécserként működik, amely értelmezi a kéréseimet, kiválasztja a megfelelő eszközöket, feladatokat delegál más ügynököknek, majd követi és összefoglalja az eredményeket.
Az egyes komponenseknek külön szerepük van.
Mnemo felel a memóriáért. Nemcsak az aktuális beszélgetés előzményeit kezeli, hanem korábbi munkamenetekből is képes releváns információkat előhívni. A cél, hogy a modellváltás vagy egy új beszélgetés indítása ne jelentse automatikusan az addigi kontextus elvesztését.
Aceso (ASN) a rendszermegfigyelő és diagnosztikai komponens. Figyeli a szolgáltatások működését, észleli a hibákat és az eltéréseket, megvizsgálhatja azok okait, majd javítási tervet készíthet. Egy megfelelően jóváhagyott tervből önálló fejlesztési munka indulhat.
Daedal a fejlesztőügynök. Elkülönített sandbox környezetben dolgozik, ahol képes kódot módosítani, teszteket futtatni, és az elkészült változtatásokat külön Git-ágakon átadni. Egyszerre több, egymástól független munkát is kezelhet, mindegyiket saját feladatazonosítóval és committal.
Argus az ellenőrző komponens, amely a változtatások és a kifelé ható műveletek felülvizsgálatában kap szerepet. A cél, hogy az ügynökök munkáját ne kizárólag az azokat végrehajtó modell értékelje.
A beszélgető Zirall pedig összefogja az egészet. Rajta keresztül kommunikálok a rendszerrel, és természetes nyelven tudok fejlesztéseket indítani, állapotokat lekérdezni vagy jóváhagyni az elkészült munkákat.
A képeken például három külön fejlesztési feladat futásának eredménye látható: egy helyi modellhez készített szószámláló, egy runtime-rekordokat feldolgozó riportfunkció és egy kisebb smoke test.
Mindhárom fejlesztés elkészült, az elfogadási tesztek sikeresen lefutottak, és mindegyik saját Git-ágra került. A Zirall pontosan nyilvántartotta, melyik munka melyik ágon és melyik commitban található.
Ami nekem különösen fontos, az a jóváhagyási folyamat.
Attól, hogy egy ügynök elkészített valamit, még nem kerül automatikusan a főágba, és főleg nem kerül élesítésre. A fejlesztés, az ellenőrzés, a beolvasztás és az élesítés külön művelet. A fontosabb változtatásoknál én maradok a döntéshozó.
Ez a hibajavításoknál is így működik. Egy korábbi “multi_read” offsethibánál például az ASN készített javítási tervet, amelyet jóváhagytam, Daedal pedig elvégezte és tesztelte a módosítást. A javítás beolvasztása megtörtént, de az élesítés továbbra is külön jóváhagyáshoz kötött.
Ráadásul a Zirall nemcsak fejlesztésre használható. Képes információkat keresni, közlekedési adatokat lekérdezni, támogatott okosotthon-eszközöket kezelni, és a különböző feladatokat a megfelelő eszközökhöz vagy modellekhez irányítani.
A modellek sem feltétlenül azonosak. A rendszer egyik fontos célja, hogy a feladat jellegéhez igazodva lehessen választani a nagyobb, erősebb felhőmodellek és az olcsóbb vagy akár helyben futtatott modellek között. Nem kell minden egyszerű műveletre a legdrágább modellt használni.
A memória és a kontextuskezelés ezen a ponton különösen érdekes. A mostani tesztben például a 252 ezres kontextusablaknak még csak a 27,4%-át használta a beszélgetés, miközben a memória már korábbi beszélgetésekből is behozott releváns információkat, külön kérés nélkül.
Ez persze még nem kész termék. A cache optimalizálása, a diagnosztikai és önjavítási folyamatok megbízhatósága, az ügynökök közötti kommunikáció és az ellenőrzési mechanizmusok továbbra is fejlesztés alatt állnak.
Viszont egyre látványosabb, hogy hová tart az egész.
Ma már a telefonomon keresztül tudok több fejlesztési munkát elindítani, az eredményüket ellenőrizni, jóváhagyni a változtatásokat, és közben megkérdezni a Ziralltól, hogyan működik a saját architektúrája. Ő pedig nemcsak általánosságban válaszol, hanem ismeri a komponenseit, a feladatok állapotát és a munkafolyamatok közötti kapcsolatokat is.
A hosszú távú cél egy olyan ügynökrendszer, amely képes a saját működését megfigyelni, a hibáit diagnosztizálni, javításokat kezdeményezni, azokat elkülönített környezetben végrehajtani, tesztelni és ellenőrzött módon integrálni.
Nem arról van szó, hogy egy nyelvi modellt korlátlan hozzáféréssel ráengedek a saját forráskódjára, hanem arról, hogy egy ellenőrizhető, jogosultságokkal és jóváhagyási pontokkal szabályozott fejlesztési folyamatot építek köré.
És talán ez az egészben a legizgalmasabb: egyre kevésbé érződik úgy, mintha egyetlen nyelvi modellel beszélgetnék. Sokkal inkább olyan, mintha egy kis fejlesztőcsapattal dolgoznék, ahol mindenkinek megvan a maga feladata, és a Zirall koordinálja a munkát.

AI-lufi

A Google jelen pillanatban két oldalról is pénzt veszít. Az AI-összefoglalók miatt kevesebb felhasználó jut el a hagyományos találati oldalakra, és nehezebb lehet a hirdetések hatékony értékesítése. Eközben az AI-modellek fejlesztése, működtetése, az adatközpontok, a szerverek és az energia hatalmas összegeket emésztenek fel.
HVG

Kipukkadt a kínai AI-lufi, elpárolgott 480 milliárd dollár
A kereskedők szerint az eladási hullámnak nem volt egyértelműen kiemelhető oka, de a részvények bezuhanásához a magas árak és adók is hozzájárultak, valamint annak a fenyegetése is, hogy az Egyesült Államok vagy más országok betilthatják a kínai felszerelések használatát az adatközpontokban.
HVG

Azon vállalatok többsége, amik korábban a mesterséges intelligenciára hivatkozva nagy számban kirúgták dolgozóikat, most elkezdték visszavenni elbocsátott dolgozóik jelentős részét, miután a humán erőforrások a gépi értelmekkel történő kiváltása nagyrészt kudarcnak bizonyult. Legalábbis ezt állítja több új jelentés is, amik szerint ráadásul ez még csak a kezdet, és a jövőben még több ilyen “pálfordulás” lesz várható.

Prog.hu