Texas Instruments AM6x razvija više kamera
Specifikacije
- Naziv proizvoda: AM6x porodica uređaja
- Podržani tip kamere: AM62A (sa ili bez ugrađenog ISP-a), AM62P (sa ugrađenim ISP-om)
- Izlazni podaci kamere: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- ISP HWA: AM62A (Da), AM62P (Ne)
- Duboko učenje HWA: AM62A (Da), AM62P (Ne)
- 3D grafika HWA: AM62A (Ne), AM62P (Da)
Uvod u primjenu više kamera na AM6x:
- Ugrađene kamere igraju ključnu ulogu u modernim sistemima vida.
- Korištenje više kamera u sistemu poboljšava mogućnosti i omogućava zadatke koji se ne mogu postići jednom kamerom.
Aplikacije koje koriste više kamera:
- Sigurnosni nadzor: Poboljšava pokrivenost nadzorom, praćenje objekata i tačnost prepoznavanja.
- Surround View: Omogućava stereo vid za zadatke poput detekcije prepreka i manipulacije objektima.
- Sistem snimanja u kabini i kamere u retrovizorima: Pruža produženu pokrivenost i eliminiše slijepe tačke.
- Medicinsko snimanje: Pruža poboljšanu preciznost u hirurškoj navigaciji i endoskopiji.
- Dronovi i snimanje iz zraka: Snimajte slike visoke rezolucije iz različitih uglova za različite primjene.
Povezivanje više CSI-2 kamera na SoC:
Za povezivanje više CSI-2 kamera na SoC, slijedite smjernice navedene u korisničkom priručniku. Osigurajte pravilno poravnanje i povezivanje svake kamere na određene portove na SoC-u.
Napomena o primjeni
Razvoj aplikacija za više kamera na AM6x
Jianzhong Xu, Qutaiba Saleh
SAŽETAK
Ovaj izvještaj opisuje razvoj aplikacija korištenjem više CSI-2 kamera na AM6x porodici uređaja. Predstavljen je referentni dizajn detekcije objekata s dubokim učenjem na 4 kamere na AM62A SoC-u s analizom performansi. Opći principi dizajna primjenjuju se i na druge SoC-ove s CSI-2 interfejsom, kao što su AM62x i AM62P.
Uvod
Ugrađene kamere igraju važnu ulogu u modernim sistemima vida. Korištenje više kamera u sistemu proširuje mogućnosti ovih sistema i omogućava mogućnosti koje nisu moguće s jednom kamerom. U nastavku su navedeni neki primjeri...ampBroj aplikacija koje koriste više ugrađenih kamera:
- Sigurnosni nadzor: Višestruke kamere postavljene na strateški način pružaju sveobuhvatnu pokrivenost nadzorom. Omogućavaju panoramski views, smanjuju slijepe tačke i poboljšavaju tačnost praćenja i prepoznavanja objekata, poboljšavajući ukupne sigurnosne mjere.
- Surround ViewViše kamera se koristi za kreiranje stereo vizuelnog sistema, omogućavajući trodimenzionalne informacije i procjenu dubine. Ovo je ključno za zadatke kao što su detekcija prepreka u autonomnim vozilima, precizna manipulacija objektima u robotici i poboljšani realizam iskustava proširene stvarnosti.
- Sistem kamera za snimanje u kabini i retrovizora: Snimač u kabini automobila s više kamera može pružiti veću pokrivenost korištenjem jednog procesora. Slično tome, sistem kamera za snimanje u retrovizoru s dvije ili više kamera može proširiti vidno polje vozača. view i eliminisati mrtve uglove sa svih strana automobila.
- Medicinsko snimanje: Više kamera može se koristiti u medicinskom snimanju za zadatke poput hirurške navigacije, pružajući hirurzima više perspektiva za poboljšanu preciznost. U endoskopiji, više kamera omogućava temeljit pregled unutrašnjih organa.
- Dronovi i snimanje iz zraka: Dronovi često dolaze opremljeni s više kamera za snimanje slika ili videozapisa visoke rezolucije iz različitih uglova. Ovo je korisno u primjenama poput snimanja iz zraka, praćenja poljoprivrede i geodetskog snimanja.
- S napretkom mikroprocesora, više kamera može biti integrisano u jedan sistem na čipu.
(SoC) kako bi se obezbijedila kompaktna i efikasna rješenja. AM62Ax SoC, sa visokoperformansnom obradom videa/vida i ubrzanjem dubokog učenja, idealan je uređaj za gore navedene slučajeve upotrebe. Drugi AM6x uređaj, AM62P, napravljen je za visokoperformansne ugrađene 3D aplikacije za prikaz. Opremljen 3D grafičkim ubrzanjem, AM62P može lako spojiti slike sa više kamera i proizvesti panoramski snimak visoke rezolucije. viewInovativne karakteristike AM62A/AM62P SoC-a predstavljene su u raznim publikacijama, kao što su [4], [5], [6] itd. Ova aplikacijska napomena neće ponavljati opise tih karakteristika, već se umjesto toga fokusira na integraciju više CSI-2 kamera u ugrađene aplikacije za vid na AM62A/AM62P. - Tabela 1-1 prikazuje glavne razlike između AM62A i AM62P što se tiče obrade slike.
Tabela 1-1. Razlike između AM62A i AM62P u obradi slike
SoC | AM62A | AM62P |
Podržani tip kamere | Sa ili bez ugrađenog ISP-a | Sa ugrađenim ISP-om |
Izlazni podaci kamere | Raw/YUV/RGB | YUV/RGB |
Internet HWA | Da | br |
Duboko učenje HWA | Da | br |
3D grafika HWA | br | Da |
Povezivanje više CSI-2 kamera na SoC
Podsistem kamere na AM6x SoC-u sadrži sljedeće komponente, kao što je prikazano na slici 2-1:
- MIPI D-PHY prijemnik: prima video strimove sa eksternih kamera, podržavajući do 1.5 Gbps po podatkovnoj liniji za 4 linije.
- CSI-2 prijemnik (RX): prima video streamove od D-PHY prijemnika i ili direktno šalje streamove ISP-u ili prebacuje podatke u DDR memoriju. Ovaj modul podržava do 16 virtuelnih kanala.
- SHIM: DMA omotač koji omogućava slanje snimljenih tokova u memoriju preko DMA. Ovaj omotač može kreirati više DMA konteksta, pri čemu svaki kontekst odgovara virtuelnom kanalu CSI-2 prijemnika.
Više kamera može biti podržano na AM6x korištenjem virtuelnih kanala CSI-2 RX-a, iako postoji samo jedan CSI-2 RX interfejs na SoC-u. Potrebna je eksterna CSI-2 agregirajuća komponenta za kombinovanje više strimova kamera i njihovo slanje na jedan SoC. Mogu se koristiti dvije vrste CSI-2 agregirajućih rješenja, opisane u sljedećim odjeljcima.
CSI-2 agregator koji koristi SerDes
Jedan od načina kombinovanja više strimova kamera je korišćenje SerDes (SerDes) rešenja. CSI-2 podaci sa svake kamere se konvertuju pomoću serijalizatora i prenose putem kabla. Deserializator prima sve serijalizovane podatke prenesene sa kablova (jedan kabl po kameri), konvertuje strimove nazad u CSI-2 podatke, a zatim šalje isprepleteni CSI-2 strim na jedinstveni CSI-2 RX interfejs na SoC-u. Svaki strim kamere se identifikuje jedinstvenim virtuelnim kanalom. Ovo agregirajuće rešenje nudi dodatnu prednost omogućavanja veze na velike udaljenosti do 15m od kamera do SoC-a.
FPD-Link ili V3-Link serijalizatori i deserializatori (SerDes), podržani u AM6x Linux SDK-u, najpopularnije su tehnologije za ovu vrstu CSI-2 agregirajućeg rješenja. I FPD-Link i V3-Link deserializatori imaju povratne kanale koji se mogu koristiti za slanje signala sinhronizacije okvira radi sinhronizacije svih kamera, kao što je objašnjeno u [7].
Slika 2-2 prikazuje prampnačin korištenja SerDes-a za povezivanje više kamera na jedan AM6x SoC.
BivšiampDio ovog agregirajućeg rješenja može se naći u Arducam V3Link Camera Solution Kitu. Ovaj kit ima deserializacijski hub koji agregira 4 CSI-2 toka kamera, kao i 4 para V3link serijalizatora i IMX219 kamera, uključujući FAKRA koaksijalne kablove i 22-pinske FPC kablove. Referentni dizajn o kojem će se kasnije govoriti izgrađen je na ovom kitu.
CSI-2 agregator bez korištenja SerDes-a
Ova vrsta agregatora može se direktno povezati s više MIPI CSI-2 kamera i agregirati podatke sa svih kamera u jedan CSI-2 izlazni tok.
Slika 2-3 prikazuje pramptakvog sistema. Ova vrsta agregacijskog rješenja ne koristi nikakav serijalizator/deserializator, ali je ograničena maksimalnom udaljenošću prijenosa CSI-2 podataka, koja je do 30 cm. AM6x Linux SDK ne podržava ovu vrstu CSI-2 agregatora.
Omogućavanje više kamera u softveru
Arhitektura softvera podsistema kamere
Slika 3-1 prikazuje blok dijagram visokog nivoa softvera sistema za snimanje kamerom u AM62A/AM62P Linux SDK-u, koji odgovara hardverskom sistemu na slici 2-2.
- Ova softverska arhitektura omogućava SoC-u da prima više strimova kamera korištenjem SerDes-a, kao što je prikazano na slici 2-2. FPD-Link/V3-Link SerDes dodjeljuje jedinstvenu I2C adresu i virtuelni kanal svakoj kameri. Treba kreirati jedinstveno preklapanje stabla uređaja s jedinstvenom I2C adresom za svaku kameru. CSI-2 RX drajver prepoznaje svaku kameru koristeći jedinstveni broj virtuelnog kanala i kreira DMA kontekst po streamu kamere. Za svaki DMA kontekst se kreira video čvor. Podaci sa svake kamere se zatim primaju i pohranjuju pomoću DMA u memoriju shodno tome. Aplikacije korisničkog prostora koriste video čvorove koji odgovaraju svakoj kameri za pristup podacima kamere. Npr.ampUpute o korištenju ove softverske arhitekture date su u Poglavlju 4 – Referentni dizajn.
- Bilo koji specifični drajver senzora koji je kompatibilan sa V4L2 okvirom može se uključiti i koristiti u ovoj arhitekturi. Pogledajte [8] u vezi sa integracijom novog drajvera senzora u Linux SDK.
Arhitektura softvera za procesiranje slika
- AM6x Linux SDK pruža GStreamer (GST) okvir, koji se može koristiti u ser prostoru za integraciju komponenti za obradu slike za različite aplikacije. Hardverski akceleratori (HWA) na SoC-u, kao što su akcelerator za predprocesiranje vida (VPAC) ili ISP, video koder/dekoder i mehanizam za duboko učenje, pristupaju se putem GST-a. pluginsSam VPAC (ISP) ima više blokova, uključujući podsistem vizualnog snimanja (VISS), korekciju izobličenja sočiva (LDC) i multiskalar (MSC), od kojih svaki odgovara GST dodatku.
- Slika 3-2 prikazuje blok dijagram tipičnog protoka slike od kamere do kodiranja ili dubokog
aplikacije za učenje na AM62A. Za više detalja o toku podataka od početka do kraja, pogledajte dokumentaciju EdgeAI SDK-a.
Za AM62P, protok slika je jednostavniji jer na AM62P nema ISP-a.
Sa kreiranim video čvorom za svaku od kamera, GStreamer-bazirani cjevovod slike omogućava istovremenu obradu više ulaza kamera (povezanih putem istog CSI-2 RX interfejsa). Referentni dizajn koji koristi GStreamer za aplikacije sa više kamera dat je u sljedećem poglavlju.
Referentni dizajn
Ovo poglavlje predstavlja referentni dizajn pokretanja aplikacija s više kamera na AM62A EVM-u, korištenjem Arducam V3Link Camera Solution Kit-a za povezivanje 4 CSI-2 kamere na AM62A i pokretanje detekcije objekata za sve 4 kamere.
Podržane kamere
Arducam V3Link komplet radi i sa kamerama baziranim na FPD-Link/V3-Link i sa Raspberry Pi kompatibilnim CSI-2 kamerama. Testirane su sljedeće kamere:
- D3 Inženjering D3RCM-IMX390-953
- Leopard Imaging LI-OV2312-FPDLINKIII-110H
- IMX219 kamere u Arducam V3Link kompletu rješenja za kamere
Postavljanje četiri IMX219 kamere
Slijedite upute navedene u Vodiču za brzi početak za AM62A Starter Kit EVM kako biste postavili SK-AM62A-LP EVM (AM62A SK) i ArduCam V3Link Camera Solution Vodič za brzi početak za povezivanje kamera na AM62A SK putem V3Link kompleta. Provjerite jesu li pinovi na fleksibilnim kablovima, kamerama, V3Link ploči i AM62A SK ispravno poravnati.
Slika 4-1 prikazuje postavke korištene za referentni dizajn u ovom izvještaju. Glavne komponente u postavkama uključuju:
- 1X SK-AM62A-LP EVM ploča
- 1X Arducam V3Link d-ch adapterska ploča
- FPC kabel koji povezuje Arducam V3Link sa SK-AM62A
- 4X V3Link adaptera za kameru (serijalizatora)
- 4X RF koaksijalni kablovi za povezivanje V3Link serijalizatora sa V3Link d-ch kompletom
- 4X IMX219 kamere
- 4X CSI-2 22-pinska kabla za povezivanje kamera sa serializatorima
- Kablovi: HDMI kabl, USB-C kabl za napajanje SK-AM62A-LP i 12V napajanje za V3Link d-ch komplet)
- Ostale komponente koje nisu prikazane na slici 4-1: micro-SD kartica, micro-USB kabel za pristup SK-AM62A-LP i Ethernet za streaming
Konfigurisanje kamera i CSI-2 RX interfejsa
Podesite softver prema uputama datim u Arducam V3Link vodiču za brzi početak. Nakon pokretanja skripte za podešavanje kamere, setup-imx219.sh, format kamere, format CSI-2 RX interfejsa i rute od svake kamere do odgovarajućeg video čvora bit će ispravno konfigurirani. Kreirana su četiri video čvora za četiri IMX219 kamere. Naredba "v4l2-ctl –list-devices" prikazuje sve V4L2 video uređaje, kao što je prikazano ispod:
Pod tiscsi6rx postoji 1 video čvorova i 2 medijski čvor. Svaki video čvor odgovara DMA kontekstu koji dodjeljuje CSI2 RX drajver. Od 6 video čvorova, 4 se koriste za 4 IMX219 kamere, kao što je prikazano u topologiji medijske cijevi ispod:
Kao što je gore prikazano, medijski entitet 30102000.ticsi2rx ima 6 izvornih izlaza, ali se koriste samo prve 4, svaki za jedan IMX219. Topologija medijske cijevi može se ilustrovati i grafički. Pokrenite sljedeću naredbu da biste generirali tačku. file:
Zatim pokrenite donju naredbu na Linux host računaru da biste generirali PNG datoteku file:
Slika 4-2 je slika generirana korištenjem gore navedenih naredbi. Komponente u softverskoj arhitekturi sa slike 3-1 mogu se naći na ovom grafikonu.
Streaming sa četiri kamere
Uz pravilno podešavanje hardvera i softvera, aplikacije za više kamera mogu se pokretati iz korisničkog prostora. Za AM62A, ISP mora biti podešen da bi se dobio dobar kvalitet slike. Pogledajte Vodič za podešavanje AM6xA ISP-a za upute o podešavanju ISP-a. Sljedeći odjeljci predstavljaju primjere...ampstrimovanje podataka kamere na ekran, strimovanje podataka kamere na mrežu i pohranjivanje podataka kamere na files.
Strimovanje podataka kamere na ekran
Osnovna primjena ovog sistema s više kamera je strimovanje videa sa svih kamera na ekran povezan na isti SoC. Slijedeći primjer je GStreamer cjevovoda.ampstrimovanja četiri IMX219 na ekran (brojevi video čvorova i v4l-subdev brojevi u cjevovodu će se vjerovatno mijenjati od ponovnog pokretanja do ponovnog pokretanja).
Strimovanje podataka kamere putem Etherneta
Umjesto strimovanja na ekran povezan na isti SoC, podaci s kamere mogu se strimovati i putem Etherneta. Prijemna strana može biti ili drugi AM62A/AM62P procesor ili host računar. Slijedeći primjer je...ampstrimovanja podataka kamere putem Etherneta (korištenjem dvije kamere radi jednostavnosti) (obratite pažnju na dodatak za enkoder koji se koristi u cjevovodu):
Slijedi bivšiampprijema podataka kamere i strimovanja na ekran na drugom AM62A/AM62P procesoru:
Pohranjivanje podataka kamere u Files
Umjesto strimovanja na ekran ili putem mreže, podaci kamere mogu se pohraniti lokalno files. Cjevovod ispod pohranjuje podatke svake kamere u file (korištenje dvije kamere kao npr.ampradi jednostavnosti).
Zaključivanje dubokog učenja s više kamera
AM62A je opremljen akceleratorom dubokog učenja (C7x-MMA) sa do dva TOPS-a, koji su sposobni za pokretanje različitih tipova modela dubokog učenja za klasifikaciju, detekciju objekata, semantičku segmentaciju i još mnogo toga. Ovaj odjeljak pokazuje kako AM62A može istovremeno pokretati četiri modela dubokog učenja na četiri različita videa s kamere.
Odabir modela
TI-jev EdgeAI-ModelZoo pruža stotine najsavremenijih modela, koji se konvertuju/izvoze iz originalnih okvira za obuku u format prilagođen ugrađenim sistemima kako bi se mogli prenijeti u akcelerator dubokog učenja C7x-MMA. Edge AI Studio Model Analyzer, baziran na oblaku, pruža jednostavan alat za "odabir modela". Dinamički se ažurira kako bi uključio sve modele koje podržava TI EdgeAI-ModelZoo. Alat ne zahtijeva prethodno iskustvo i pruža jednostavan interfejs za unos funkcija potrebnih u željenom modelu.
Za ovaj eksperiment dubokog učenja s više kamera odabran je TFL-OD-2000-ssd-mobV1-coco-mlperf. Ovaj model detekcije više objekata razvijen je u TensorFlow okviru s ulaznom rezolucijom od 300×300. Tabela 4-1 prikazuje važne karakteristike ovog modela kada je obučen na cCOCO skupu podataka s oko 80 različitih klasa.
Tabela 4-1. Najvažnije karakteristike modela TFL-OD-2000-ssd-mobV1-coco-mlperf.
Model | Zadatak | Rezolucija | FPS | mAP 50%
Tačnost na COCO-u |
Latencija/Okvir (ms) | DDR BW
Iskorištenost (MB/okvir) |
TFL-OD-2000-ssd-
mobV1-coco-mlperf |
Detekcija više objekata | 300×300 | ~152 | 15.9 | 6.5 | 18.839 |
Postavljanje cjevovoda
Slika 4-3 prikazuje GStreamer cjevovod dubokog učenja sa 4 kamere. TI pruža paket GStreamer-a plugins koji omogućavaju preusmjeravanje dijela obrade medija i zaključivanja dubokog učenja na hardverske akceleratore. Neki npr.ampnekoliko ovih plugins uključuju tiovxisp, tiovxmultiscaler, tiovxmosaic i tidlinferer. Cjevovod na slici 4-3 uključuje sve potrebne plugins za višestruki GStreamer cjevovod za ulaze od 4 kamere, svaki s predprocesiranjem medija, zaključivanjem dubokog učenja i naknadnom obradom. Duplicirani plugins za svaku od putanja kamere su složene na grafikonu radi lakše demonstracije.
Dostupni hardverski resursi su ravnomjerno raspoređeni između četiri putanje kamere. Na primjer, AM62A sadrži dva multiskalera slike: MSC0 i MSC1. Cjevovod eksplicitno dodjeljuje MSC0 za obradu putanja kamere 1 i kamere 2, dok je MSC1 namijenjen kameri 3 i kameri 4.
Izlaz četiriju kamera se smanjuje i spaja pomoću dodatka tiovxmosaic. Izlaz se prikazuje na jednom ekranu. Slika 4-4 prikazuje izlaz četiriju kamera s modelom dubokog učenja koji pokreće detekciju objekata. Svaki cjevovod (kamera) radi na 30 FPS i ukupno 120 FPS.
Sljedeći je kompletan skript za slučaj upotrebe višekamernog dubokog učenja prikazan na slici 4-3.
Analiza performansi
Postavka sa četiri kamere koje koriste V3Link ploču i AM62A SK testirana je u različitim scenarijima primjene, uključujući direktno prikazivanje na ekranu, strimovanje preko Etherneta (četiri UDP kanala), snimanje na 4 odvojena... files, i sa zaključivanjem dubokog učenja. U svakom eksperimentu pratili smo brzinu kadrova i iskorištenost CPU jezgara kako bismo istražili mogućnosti cijelog sistema.
Kao što je prethodno prikazano na slici 4-4, cjevovod dubokog učenja koristi dodatak tiperfoverlay GStreamer za prikaz opterećenja jezgre CPU-a kao stupčastog grafikona na dnu ekrana. Podrazumevano, grafikon se ažurira svake dvije sekunde kako bi prikazao opterećenja kao postotak iskorištenosti.tage. Pored dodatka tiperfoverlay za GStreamer, alat perf_stats je druga opcija za prikaz performansi jezgra direktno na terminalu s opcijom spremanja u fileOvaj alat je precizniji u poređenju sa tTiperfoverlay-om, jer ovaj drugi dodaje dodatno opterećenje na ARMm jezgre i DDR kako bi nacrtao grafikon i preklopio ga na ekranu. Alat perf_stats se uglavnom koristi za prikupljanje rezultata iskorištenja hardvera u svim testnim slučajevima prikazanim u ovom dokumentu. Neke od važnih procesorskih jezgri i akceleratora proučavanih u ovim testovima uključuju glavne procesore (četiri A53 Arm jezgre na 1.25 GHz), akcelerator dubokog učenja (C7x-MMA na 850 MHz), VPAC (ISP) sa VISS-om i multiskalerima (MSC0 i MSC1) i DDR operacije.
Tabela 5-1 prikazuje performanse i iskorištenost resursa pri korištenju AM62A s četiri kamere za tri slučaja upotrebe, uključujući strimovanje četiri kamere na ekran, strimovanje preko Etherneta i snimanje na četiri odvojene kamere. fileU svakom slučaju upotrebe implementirana su dva testa: samo s kamerom i s inferencijom dubokog učenja. Osim toga, prvi red u Tabeli 5-1 prikazuje iskorištenost hardvera kada je na AM62A radio samo operativni sistem bez ikakvih korisničkih aplikacija. Ovo se koristi kao osnova za poređenje prilikom procjene iskorištenosti hardvera u ostalim testnim slučajevima. Kao što je prikazano u tabeli, četiri kamere s dubokim učenjem i prikazom na ekranu radile su sa po 30 FPS svaka, sa ukupno 120 FPS za četiri kamere. Ova visoka brzina kadrova postignuta je sa samo 86% punog kapaciteta akceleratora dubokog učenja (C7x-MMA). Osim toga, važno je napomenuti da je akcelerator dubokog učenja u ovim eksperimentima radio na 850MHz umjesto 1000MHz, što je oko samo 85% njegovih maksimalnih performansi.
Tabela 5-1. Performanse (FPS) i iskorištenost resursa AM62A kada se koristi sa 4 IMX219 kamere za prikaz na ekranu, Ethernet stream, snimanje na Filei izvođenje dubokog učenja i inferenciranja
Applicatio n | Cjevovod (rad
) |
Izlaz | FPS prosječni cjevovod s | FPS
ukupno |
MPU-ovi A53 na 1.25
GHz [%] |
MCU R5 [%] | DLA (C7x-MMA) @ 850
MHz [%] |
VISS [%] | MSC0 [%] | MSC1 [%] | DDR
Putovanje [MB/s] |
DDR
Brzina prijenosa [MB/s] |
DDR
Ukupno [MB/s] |
Nema aplikacije | Osnovna vrijednost Nema operacije | NA | NA | NA | 1.87 | 1 | 0 | 0 | 0 | 0 | 560 | 19 | 579 |
Kamera samo | Stream na ekran | Ekran | 30 | 120 | 12 | 12 | 0 | 70 | 61 | 60 | 1015 | 757 | 1782 |
Strimovanje preko Etherneta | UDP: 4
portovi 1920×1080 |
30 | 120 | 23 | 6 | 0 | 70 | 0 | 0 | 2071 | 1390 | 3461 | |
Zapis to files | 4 file1920×1080 | 30 | 120 | 25 | 3 | 0 | 70 | 0 | 0 | 2100 | 1403 | 3503 | |
Cam s dubokim učenjem | Duboko učenje: Detekcija objekata MobV1- coco | Ekran | 30 | 120 | 38 | 25 | 86 | 71 | 85 | 82 | 2926 | 1676 | 4602 |
Duboko učenje: Detekcija objekata MobV1-coco i streaming preko Etherneta | UDP: 4
portovi 1920×1080 |
28 | 112 | 84 | 20 | 99 | 66 | 65 | 72 | 4157 | 2563 | 6720 | |
Duboko učenje: Detekcija objekata MobV1-coco i snimanje u files | 4 file1920×1080 | 28 | 112 | 87 | 22 | 98 | 75 | 82 | 61 | 2024 | 2458 | 6482 |
Rezime
Ovaj izvještaj o primjeni opisuje kako implementirati aplikacije s više kamera na AM6x porodici uređaja. U izvještaju je dat referentni dizajn zasnovan na Arducamovom V3Link Camera Solution Kit-u i AM62A SK EVM-u, s nekoliko aplikacija kamere koje koriste četiri IMX219 kamere, kao što su streaming i detekcija objekata. Korisnici se potiču da nabave V3Link Camera Solution Kit od Arducama i repliciraju ove primjere.ampIzvještaj također pruža detaljnu analizu performansi AM62A pri korištenju četiri kamere u različitim konfiguracijama, uključujući prikazivanje na ekranu, streaming preko Etherneta i snimanje na files. Također pokazuje sposobnost AM62A da paralelno izvodi zaključivanje dubokog učenja na četiri odvojena toka kamere. Ako postoje bilo kakva pitanja o pokretanju ovih primjera...amples, pošaljite upit na TI E2E forumu.
Reference
- Kratki vodič za početak EVM-a za početni komplet AM62A
- Vodič za brzi početak ArduCam V3Link rješenja za kameru
- Dokumentacija Edge AI SDK-a za AM62A
- Edge AI pametne kamere koje koriste energetski efikasan AM62A procesor
- Sistemi kamera i ogledala na AM62A
- Sistemi za nadzor vozača i prisustva putnika na AM62A
- Aplikacija za četverokanalnu kameru za surround video View i CMS sistemi kamera
- AM62Ax Linux akademija o omogućavanju CIS-2 senzora
- Edge AI ModelZoo
- Edge AI Studio
- Alat za statistiku performansi
TI dijelovi na koje se poziva u ovoj napomeni o primjeni:
- https://www.ti.com/product/AM62A7
- https://www.ti.com/product/AM62A7-Q1
- https://www.ti.com/product/AM62A3
- https://www.ti.com/product/AM62A3-Q1
- https://www.ti.com/product/AM62P
- https://www.ti.com/product/AM62P-Q1
- https://www.ti.com/product/DS90UB960-Q1
- https://www.ti.com/product/DS90UB953-Q1
- https://www.ti.com/product/TDES960
- https://www.ti.com/product/TSER953
VAŽNO OBAVJEŠTENJE I ODRICANJE OD ODGOVORNOSTI
TI PRUŽA TEHNIČKE PODATKE I POUZDANOST (UKLJUČUJUĆI LISTE PODATAKA), RESURSE ZA DIZAJN (UKLJUČUJUĆI REFERENTNE DIZAJNE), APLIKACIJU ILI DRUGE SAVJETE ZA DIZAJN, WEB ALATI, BEZBEDNOSNE INFORMACIJE I DRUGI RESURSI „KAVI JESU“ I SA SVIM GREŠKAMA, I ODRIČE SE SVIH GARANCIJA, IZRIČITIH I PODRAZUMEVANIH, UKLJUČUJUĆI BEZ OGRANIČAVANJA BILO KAKVE PODRAZUMEVANE GARANCIJE OD DELOVA ZA TRGOVAČKU DELOVANJU DELOVA ZA TRGOVINU, .
Ovi resursi su namijenjeni vještim programerima koji dizajniraju sa TI proizvodima. Vi ste isključivo odgovorni za
- odabir odgovarajućih TI proizvoda za vašu primjenu,
- dizajniranje, validacija i testiranje vaše aplikacije, i
- osiguravanje da vaša aplikacija ispunjava primjenjive standarde i sve ostale sigurnosne, zaštitne, regulatorne ili druge zahtjeve.
Ovi resursi podložni su promjenama bez prethodne najave. TI vam dozvoljava korištenje ovih resursa samo za razvoj aplikacije koja koristi TI proizvode opisane u resursu. Druga reprodukcija i prikazivanje ovih resursa je zabranjeno. Ne dodjeljuje se nikakva licenca za bilo koje drugo pravo intelektualnog vlasništva TI-a ili za bilo koje pravo intelektualnog vlasništva treće strane. TI se odriče odgovornosti za bilo kakve zahtjeve, štete, troškove, gubitke i obaveze koji proizlaze iz vašeg korištenja ovih resursa, a vi ćete u potpunosti obeštetiti TI i njegove predstavnike od tih zahtjeva.
TI-jevi proizvodi se pružaju u skladu sa TI-jevim uslovima prodaje ili drugim primenjivim uslovima koji su dostupni na bilo koji dan ti.com ili u kombinaciji sa takvim TI proizvodima. TI-jevo obezbjeđivanje ovih resursa ne proširuje niti na drugi način mijenja TI-jeve primjenjive garancije ili odricanja od odgovornosti za TI proizvode.
TI se protivi i odbija sve dodatne ili drugačije uslove koje ste možda predložili.
VAŽNA NAPOMENA
- Poštanska adresa: Texas Instruments, poštanski pretinac 655303, Dallas, Texas 75265
- Autorska prava © 2024, Texas Instruments Incorporated
Često postavljana pitanja
P: Mogu li koristiti bilo koju vrstu kamere sa AM6x porodicom uređaja?
AM6x porodica podržava različite tipove kamera, uključujući one sa ili bez ugrađenog ISP-a. Za više detalja o podržanim tipovima kamera pogledajte specifikacije.
Koje su glavne razlike između AM62A i AM62P u obradi slike?
Ključne varijacije uključuju podržane tipove kamera, izlazne podatke kamere, prisustvo ISP HWA, Deep Learning HWA i 3-D Graphics HWA. Pogledajte odjeljak sa specifikacijama za detaljno poređenje.
Dokumenti / Resursi
![]() |
Texas Instruments AM6x Razvoj višestrukih kamera [pdf] Korisnički priručnik AM62A, AM62P, AM6x Razvijanje više kamera, AM6x, Razvijanje više kamera, Više kamera, Kamera |