NGV 캠퍼스 자율주행 인지 정리

1차시 자율주행 자동차의 센서 구성

자율주행 센서의 종류
카메라
레이더
라이다 
초음파

2차시 자율주행 인지 기술 개념

동적 환경 객체, 정적환경 객체 검출 및 추적

3차시 인지 기술의 발전방향

인지 기술의 중요성 : 여러 환경에 적응해야하며 인지가 부정확하면 자율주행이 불가능함.

4차시 인지를 위한 AI 기술

인공지능 기술 개요, 필요성, 적용과정.

5차시 인지를 위한 딥러닝 기술 개요

인공신경망은 노드들의 집합
트레이닝(학습)과 인퍼런스(딥러닝 모델을 자율주행차에 탑재)
인지를 위한 딥러닝 기술 - cnn(영상), rnn(예측)

6차시딥러닝 기반 인지시스템 사례

테슬라의 자율주행 - 라이다 없이 카메라로만 작동/소프트웨어를 주기적으로 업데이트/컴퓨팅하드웨어 직접 설계, 제어
구글 웨이모 - 자율주행 차가 아닌 서비스를 위해 개발/ LEVEL4 지향/라이다+레이더 사용, 직접 설계
둘 다 사망 사고사례가 있음.

7차시카메라 센서 개요

카메라 센서 원리 : 빛을 전기적 신호로 변환. 초점거리와 화각이 존재.
핀홀 카메라와 렌즈 카메라가 있음.
x축, y축의 2차원 배열로 표현.
프레임비율, RGB가 기본.

8차시카메라 캘리브레이션(보정) 기술

카메라 좌표계 x,y,z
카메라 파라미터 : 초점거리, 주점, 비대칭계수
카메라 캘리브레이션 : 내부 파라미터 값을 알아내고 왜곡을 보정하는 과정

9차시 카메라 기반 물체 검출/추적 기술

카메라 영상을 맏아서 물체의 위치와 종류를 알아내는 기술을 물체 검출 기술이라 한다.
cnn을 적용하여 물체의 특징을 추출한 후 이를 이용하여 물체를 검출함.
딥러닝 기반 물체 검출 방법은 1단계와 2단계 방법으로 나누어짐.

10차시 카메라 기반 영역 분할 기술

semancic 영역 분할 기술을 이용함.
지도 기반 자기 차량 위치 측위에 사용.

11차시 레이더 센서 종류 및 작동원리

24GHz : 근거리
77GHz : 원거리
펄스레이더 : 송수신간의 전파지연시간을 이용
FMCW 레이더(디처피방법) : 송신 신호와 수신 신호를 이용해 목표와의 거리 및 상대 속도 추출

12차시 레이더 신호 특성

77기가 헤르츠가 안테나 모듈 크기를 작게 만들고 지향성이 더 좋고 인체에 미치는 영향도 적음. 그래서 자율주행 차에 더 어울림.
클러터 문제 : 물체가 없는 위치에 신호가 검출되어 오탐률을 높임.
수신 신호에 FFT 기법을 적용하여 물체 검출 수행.

13차시 레이더 송수신기 구성

믹서
저대역필터
아날로그 디지털 컨버터
고속 퓨리에 변환
CFAR 검출기

14차시 레이더 기반 물체 검출 기술

레이더 기반 물체 검출 기술 개요
수신신호 x 윈도우 = 주파수 분석 적용
윈도우를  시간축으로 움직이면서 주파수 성분 변환을 수행하여 시간-주파수 영역의 신호 영상을 얻음.
이를 거리-도플러 영역으로 환산할 수 있으며 2차원 영상에서의 하나의 원소를 셀이라 부름.
각 셀에서의 신호의 세기를 임계값과 비교하여 물체를 검출함.
CFAR 검출기를 이용하여 임계값을 환경에 따라 조절.

15차시 라이다 센서 종류 및 개요

먼 거리를 볼 수 있지만 가격이 비싼 라이다
회전형 - 넓은 각도/구성이 복잡/센서 가격이 높음
고정형 - 반대. 
MEMS 라이다 - 거울을 사용하여 주변 스캔
플래시 라이다- 단일 레이저 빔을 광 시야각으로 확장, 다중 배열 수신 소자를 통해 수신.
FMCW 라이다 - 레이더에 사용되는 FMCW 신호 분석 원리를 적용.

16차시 라이다 센서 특성 및 데이터

라이다의 특성 - 반사체의 반사율이 낮을 경우 신호 성분 약화.
물체에 따라 검출 가능 범위가 다르다.
3차원 영역에서 인지를 수행하는 데 좋은 성능을 가짐.
해상도가 높을수록 고가.

17차시 라이다 기반 물체 검출 기술

포인트 클라우드 데이터를 분석.
조감도 영역에서 볼 때 카메라에 비해 매우 유리하다.

18차시 라이다 기반 물체 추적 기술

19차시 복합센서 적용 기술

20차시 센서융합 기술 사례

21차시 고성능 인지를 위한 하드웨어/소프트웨어/통신 플랫폼

22차시 AI 기반 인지시스템을 위한 지능형 반도체 기술

23차시 고정밀 지도 기반 자율주행 개요

오도메트리를 이용한 보정.

24차시 고정밀 지도 및 측위 기술

SLAM 기술을 활용하여 현재 위치 인지.

25차시 MMS 기반 고정밀 지도 구축 기술

현재 지도 정보와 네트워크에서 가져온 지도를 비교

26차시 AI 기반 측위 기술