LLM-ите произведоа многу повеќе проблеми отколку што решија - Бојан Јакимовски

Во новата епизода на "Во Изработка" зборуваме со Бојан Јакимовски, Lead ML/AI Engineer во Loka и активен истражувач во AI сферата. Бојан споделува детали од неговото гостување во главните канцеларии на OpenAI, каде што беше поканет на презентација на нивните нови модели и имаше можност директно да разговара со Сем Алтман и инженери од тимот кои ги развиваат нивните frontier модели. Разговараме за тоа што всушност значи да се развива софтвер базиран на AI, и зошто моделoт е само еден дел од приказната. Што е harness, а што е агент? Како се дизајнира систем околу еден LLM? Зошто лошо дефинираните алатки можат да трошат огромен број токени и како се оптимизираат AI системите за да бидат побрзи, поевтини и поефикасни? Зборуваме и за тоа дали секогаш ни треба најмоќниот frontier модел, каде се вклопуваат малите и локални модели, каков hardware ни е потребен за да работиме со LLM-и локално и каде може да најдеме GPU инфраструктура без да имаме сопствен податочен центар. На крајот стигнуваме и до едно многу поголемо прашање: има ли смисла Македонија да развива сопствен AI и што всушност би значело "национален AI"? Од LLM-и и агенти, преку токени и GPU-и, до AI инфраструктурата на една мала држава, ова е разговор за тоа што (и како) навистина се гради околу големите јазични модели.