Novi model umjetne inteligencije pomaže gradovima u analizi prometnih rizika u velikim razmjerima

Istraživači na NYU Tandon School of Engineering razvili su multimodalni AI sustav koji analizira snimke prometnih kamera kako bi otkrio sudare i zamalo promašene događaje, pružajući gradovima način da iz postojećih video mreža izvlače uvide o sigurnosti bez opsežnog ručnog pregleda.

Sustav SeeUnsafe nagrađen je nagradom Vision Zero Research Award grada New Yorka i objavljen je u časopisu Accident Analysis and Prevention. Primjenjuje multimodalne modele velikih jezika (MLLM) na dugotrajne prometne snimke, s ciljem podrške kontinuiranijoj analizi od tradicionalnih pristupa temeljenih na sudarima.

Mnogi gradovi prikupljaju opsežne prometne videozapise, ali se i dalje oslanjaju na ograničene izvore podataka jer je pregled snimaka radno intenzivan

U razgovoru za Cities Today, Kaan Ozbay, glavni autor rada SeeUnsafe i direktor C2SMART Centra za istraživanje prometa na NYU Tandon School of Engineering, rekao je da je to stvorilo trajni jaz.

„Gradovi su brzo proširili svoje mreže prometnih kamera, ali njihova sposobnost učenja iz svih tih videozapisa nije održala tempo“, rekao je. „Ručna analiza videa izuzetno je dugotrajna i skupa, a prilagođeni cjevovodi računalnog vida zahtijevaju specijalizirani inženjering, podešavanje specifično za lokaciju i kontinuirano održavanje.“

Ozbay je rekao da je to ograničilo praktičnu vrijednost velikih video arhiva za svakodnevno donošenje odluka.

„Ovaj jaz je razlog zašto ‘više podataka vodi do sigurnijih cesta’ nije postalo stvarnost“, dodao je. „Pojava MLLM-ova donosi promjenu paradigme, omogućujući da se kontinuirani video transformira u automatizirane, skalabilne sigurnosne uvide.“

Model kombinira signale na razini objekta s kontekstualnim zaključivanjem

Za razliku od tradicionalnih cjevovoda koji odvajaju zadatke poput detekcije, praćenja i procjene brzine, on interpretira prometne scene kao cjelinu.

„SeeUnsafe koristi MLLM-ove za razumijevanje prometnih scena više poput inženjera ljudske sigurnosti, a ne kao skup odvojenih zadataka vida“, rekao je Ozbay. „Ova vrsta razumijevanja na razini scene bitna je za uočavanje rijetkih, ali važnih događaja poput sudara i zamalo promašaja koje klasični CCTV često teško snimi.“

Testiranje na skupu podataka o sigurnosti prometa Toyota Woven pokazalo je razine točnosti iznad onih kod usporednih modela

Međutim, Ozbay je rekao da se rezultati kontroliranih skupova podataka ne prenose automatski na složenost stvarnih urbanih okruženja.

„Točnost SeeUnsafe-a već je obećavajuća u kontroliranim okruženjima, ali još uvijek postoji jaz prije nego što bude spreman za potpuno pouzdanu primjenu u cijelom gradu na mjestu poput New Yorka“, rekao je. Čimbenici poput osvjetljenja, vremena, položaja kamere i neobičnog ponašanja mogu utjecati na performanse.

Sustav pretvara ogromne količine složenih, nestrukturiranih videa u uvide koje netehnički dionici mogu odmah razumjeti

Sustav također proizvodi sažetke na prirodnom jeziku koji opisuju uvjete i kretanja povezana s detektiranim događajima. Ozbay je rekao da ovaj format pomaže u integraciji alata u postojeće tijekove rada javnog sektora.

„Ovaj sustav smanjuje barijeru između korisnika i analitičkih rezultata pretvarajući ogromne količine složenih, nestrukturiranih videa u uvide koje netehnički dionici mogu odmah razumjeti“, rekao je. „Odgovara postojećim tijekovima rada, smanjuje krivulju učenja i pomaže agencijama da usvoje sigurnosnu analizu potpomognutu umjetnom inteligencijom bez potrebe da mijenjaju način na koji već pregledavaju i opravdavaju odluke.“

Ozbay je dodao da bi se ista tehnologija mogla koristiti u širim kontekstima planiranja mobilnosti ili operativnih operacija dok gradovi jačaju podatkovnu infrastrukturu.

„Fiksne prometne kamere vidimo kao korak od ‘0 do 1’“, objasnio je. „Nakon što se taj temelj postavi, ista temeljna tehnologija može se prirodno proširiti i izvan fiksnih kamera.“

Dugoročni cilj je sada podržati jasnije razumijevanje kako se rizik razvija na cestovnim mrežama.

„Već vidimo paralelne napore u urbanoj mobilnosti i autonomnoj vožnji, a SeeUnsafe je pozicioniran da se uključi u taj ekosustav kao ‘sloj prometne sigurnosti’ koji povezuje videozapise iz stvarnog svijeta, virtualne modele i operativne odluke“, rekao je.