Test

Uruchomienie modułu kamery KAmod IMX477 na platformie NVIDIA Jetson

Testowana konfiguracja Jetson Orin Nano:

• NVIDIA Jetson Orin Nano Developer Kit Super
• Jetson Linux R39.2.1
• Linux kernel 6.8.12-1021-tegra
• Kamera KAmod IMX477
• Taśma połączeniowa

Wsparcie dla oryginalnego Jetson Nano

Kamera jest obsługiwana przez sterowniki Waveshare IMX477-160 dedykowane dla oryginalnej płyty NVIDIA Jetson Nano. W przypadku wersji JetPack 4.6 i nowszych przeznaczonych dla oryginalnego Jetson Nano, konfigurację kamery przeprowadza się za pomocą narzędzia Jetson-IO:

sudo /opt/nvidia/jetson-io/jetson-io.py

Ścieżka w menu programu wygląda następująco:

Configure Jetson Nano CSI Connector
→ Configure for compatible hardware
→ Camera IMX477 Dual

Dla przetestowania strumienia w rozdzielczości 1920×1080 przy 20 FPS, Waveshare udostępnia następujący potok GStreamer:

DISPLAY=:0.0 gst-launch-1.0 \
  nvarguscamerasrc sensor-id=0 ! \
  'video/x-raw(memory:NVMM),width=1920,height=1080,format=NV12,framerate=20/1' ! \
  nvoverlaysink -e

Pełna instrukcja producenta dostępna jest na stronie Waveshare IMX477-160 12.3MP Camera wiki.

Powyższe instrukcje dotyczą oryginalnego Jetson Nano oraz (według Waveshare) Jetson Xavier NX. System JetPack 4.6 nie obsługuje platformy Jetson Orin Nano i nie można go na niej zainstalować.

Natywna obsługa IMX477 na Jetson Orin Nano

Przed użyciem kamery na platformie Jetson Orin Nano należy wykonać wstępną konfigurację za pomocą narzędzia NVIDIA Jetson-IO:

sudo /opt/nvidia/jetson-io/jetson-io.py

Na płytce Jetson Orin Nano Developer Kit należy wybrać kolejno:

Configure Jetson 22pin CSI Connector
→ Configure for compatible hardware
→ Camera IMX477 Dual
→ Save pin changes
→ Save and reboot to reconfigure pins

Dokładna nazwa złącza w menu może się nieznacznie różnić w zależności od wydania Jetson Linux.

Uwaga:

Kamera musi być podłączona przy wyłączonym zasilaniu płytki Jetson. Nie wolno podłączać ani odłączać kamery MIPI CSI, gdy płytka jest podłączona do zasilania!

Wybranie opcji Camera IMX477 Dual włącza definicje przetwornika IMX477 dla złączy kamer. Konfiguracja ta nie wymaga fizycznego podłączenia dwóch kamer.

Po zapisaniu konfiguracji przez Jetson-IO należy zrestartować system:

sudo reboot

Jeśli narzędzie Jetson-IO zgłosi błąd, poinformuje o braku pasującego pliku DTB lub utworzy konfigurację uniemożliwiającą rozruch, zapoznaj się z sekcją dotyczącą problemów na Jetson Orin Nano Super.

Możliwe problemy z Jetson-IO na Jetson Orin Nano Super

Na niektórych instalacjach Jetson Orin Nano Super wykonanie polecenia:

sudo /opt/nvidia/jetson-io/jetson-io.py

może zakończyć się błędem. Jednym ze znanych komunikatów jest:

RuntimeError: No DTB found for NVIDIA Jetson Orin Nano Engineering Reference Developer Kit Super!

Problem ten występuje, gdy profil płytki, oprogramowanie układowe UEFI/QSPI, zainstalowane wydanie Jetson Linux oraz pliki DTB nie są ze sobą zgodne. Zjawisko to zaobserwowano zwłaszcza w przypadku wersji JetPack 6.2 oraz Jetson Linux R36.4.3.

Dyskusję na forum NVIDIA dotyczącą tego problemu można znaleźć pod adresem:

NVIDIA Developer Forums — No DTB found for NVIDIA Jetson Orin Nano Engineering Reference Developer Kit Super

Zalecana procedura naprawcza:

• Wgraj (sflashuj) spójne oprogramowanie układowe QSPI/UEFI oraz obraz systemu operacyjnego pochodzące z tego samego wydania Jetson Linux.
• Nie łącz obrazu systemu z karty SD lub dysku NVMe pochodzącego z jednej wersji BSP z oprogramowaniem QSPI z innej wersji.
• Zaleca się użycie nowszego wydania Jetson Linux, w którym narzędzie Jetson-IO poprawnie obsługuje profil Super.
• Przed zmianą konfiguracji kamery warto wykonać kopię zapasową:

/boot/extlinux/extlinux.conf
/boot/dtb/

Jeśli Jetson-IO utworzy nieprawidłową konfigurację rozruchową, a UEFI wyświetli komunikat:

Attempting Recovery Boot

należy wejść do menu UEFI, wciskając klawisz Esc, a następnie wybrać:

Device Manager
→ NVIDIA Configuration
→ L4T Configuration
→ OS chain A status
→ Normal

Jeśli dostępna jest opcja dla drugiej partycji, należy również ustawić:

OS chain B status → Normal

Następnie wybrać:

L4T Boot Mode → ExtLinux

Zapisz zmiany i zrestartuj system. Jest to oficjalna procedura odzyskiwania opisana przez NVIDIA:

NVIDIA Jetson Linux — Set the system to normal boot from recovery kernel boot

Unikaj ręcznego zmieniania nazw lub kopiowania losowych plików DTB jako pierwszego rozwiązania. Plik DTB niedostosowany do konkretnego modułu, płytki nośnej i wydania BSP może całkowicie zablokować uruchomienie systemu.

Natywne wsparcie IMX477 na Jetson Orin Nano (Sterownik)

Pakiet Jetson Linux dla Jetson Orin Nano zawiera natywny sterownik dla przetwornika IMX477:

nv_imx477

Po włączeniu odpowiedniej konfiguracji kamera pojawia się jako urządzenie V4L2. W testowanym systemie R39.2.1 interfejs Argus udostępnia następujące tryby pracy:

3840×2160 przy 30 FPS
1920×1080 przy 60 FPS

Sterownik inicjalizuje przetwornik, a moduły NVCSI/VI rozpoczynają odbiór klatek. Jednakże podczas testów na wersji R39.2.1 zaobserwowano problem w momencie, gdy Argus automatycznie kontroluje wzmocnienie (gain) przetwornika i ISP.

Problem z automatycznym wzmocnieniem (Auto Gain)

Dla domyślnych ustawień nvarguscamerasrc pierwsze klatki obrazu mogą być prawidłowe. Gdy Argus rozpoczyna automatyczną regulację, obraz staje się zielony i pojawiają się na nim pionowe lub poziome pasy.

Problem powtarzał się w sytuacjach, gdy Argus automatycznie zwiększał:

• analogowe wzmocnienie przetwornika (sensor analog gain),
• cyfrowe wzmocnienie ISP (ISP digital gain).

Jeśli parametr gainrange zostanie pominięty, Argus może użyć pełnego zakresu zgłaszanego przez sterownik (w testowanej konfiguracji aż do około 22.25×). Wyższe, automatycznie dobrane wartości prowadziły do uszkodzenia przechwytywanych klatek.

Obraz pozostaje stabilny po ograniczeniu zarówno wzmocnienia przetwornika, jak i cyfrowego wzmocnienia ISP.

NVIDIA wyjaśnia, że mechanizm automatycznej ekspozycji Argus w sposób ciągły wywołuje funkcje sterownika kamery. Nieprawidłowe wartości lub błędy w obsłudze funkcji takich jak set_exposure() oraz set_gain() mogą uszkodzić przechwytywanie Argus, nawet jeśli podstawowa komunikacja V4L2 z przetwornikiem działa poprawnie.

Więcej szczegółów w dokumentacji NVIDIA:

NVIDIA Camera Software Development Solution — ISP Configuration

Obejście problemu (Workaround)

Praktycznym rozwiązaniem problemu jest:

• pozostawienie włączonej automatycznej ekspozycji,
• ustawienie stałego analogowego wzmocnienia przetwornika,
• zablokowanie cyfrowego wzmocnienia ISP na wartości 1×,
• pozostawienie włączonego automatycznego balansu bieli.

Kluczowe parametry konfiguracyjne:

aelock=false
gainrange='4 4'
ispdigitalgainrange='1 1'
awblock=false
wbmode=1

Ważne: Nie należy pomijać parametru gainrange. Jeśli zostanie pominięty, Argus może ponownie ustawić zbyt wysokie wzmocnienie, co doprowadzi do pojawienia się zielonego lub uszkodzonego obrazu.

Tryb 1920×1080 przy 60 FPS

Przykład stabilnego potoku GStreamer:

gst-launch-1.0 \
  nvarguscamerasrc \
    sensor-id=0 \
    aelock=false \
    exposuretimerange='1000000 16000000' \
    gainrange='4 4' \
    ispdigitalgainrange='1 1' \
    awblock=false \
    wbmode=1 ! \
  'video/x-raw(memory:NVMM),width=1920,height=1080,framerate=60/1' ! \
  queue ! nvvidconv ! \
  'video/x-raw(memory:NVMM),format=RGBA' ! \
  nv3dsink sync=false

Wartości czasu ekspozycji podawane są w nanosekundach:

1 000 000 ns  = 1 ms
16 000 000 ns = 16 ms

Przy płynności 60 FPS czas trwania jednej klatki wynosi około 16.67 ms. Maksymalny limit czasowy ekspozycji został więc ustawiony na 16 ms. Jeśli wzmocnienie 4× (gainrange='4 4')okaże się niestabilne lub zbędne, należy rozpocząć testy od wartości 1×:

gainrange='1 1'

A następnie sprawdzać kolejne stałe wartości:

gainrange='2 2'

gainrange='4 4'

Tryb 3840×2160 przy 30 FPS

Tryb 4K pozwala na wydłużenie czasu ekspozycji:

gst-launch-1.0 \
  nvarguscamerasrc \
    sensor-id=0 \
    aelock=false \
    exposuretimerange='1000000 32000000' \
    gainrange='4 4' \
    ispdigitalgainrange='1 1' \
    awblock=false \
    wbmode=1 ! \
  'video/x-raw(memory:NVMM),width=3840,height=2160,framerate=30/1' ! \
  queue ! nvvidconv ! \
  'video/x-raw(memory:NVMM),format=RGBA' ! \
  nv3dsink sync=false

Przy 30 FPS jedna klatka trwa około 33.33 ms. Praktyczna maksymalna wartość ekspozycji wynosi około 32–33 ms:

exposuretimerange='1000000 32000000'

Asekuracyjna (zachowawcza) konfiguracja dla trybu 4K z użyciem wzmocnienia 1×:

gst-launch-1.0 \
  nvarguscamerasrc \
    sensor-id=0 \
    aelock=false \
    exposuretimerange='1000000 32000000' \
    gainrange='1 1' \
    ispdigitalgainrange='1 1' \
    awblock=false \
    wbmode=1 ! \
  'video/x-raw(memory:NVMM),width=3840,height=2160,framerate=30/1' ! \
  queue ! nvvidconv ! \
  'video/x-raw(memory:NVMM),format=RGBA' ! \
  nv3dsink sync=false

Dobraną stałą wartość wzmocnienia (gain) należy zweryfikować dla konkretnego egzemplarza modułu kamery, warunków oświetleniowych, wybranego trybu pracy przetwornika oraz wersji systemowej Jetson Linux.

---