AI는 어디서 실행될까? 온디바이스 vs 에지 vs 클라우드 비교

1. 온디바이스 vs 에지 vs 클라우드 AI 비교

1.1 정의

1.1.1. 온디바이스(On-Device AI)

• 개별 기기 안에서 AI 추론을 실행한다.
• 스마트폰, 마이크로컨트롤러, IoT 기기 등에서 인터넷 없이 동작한다.

1.1.2. 에지 AI(Edge AI)

• 클라우드 서버가 아닌 네트워크 가장자리(엣지)에서 AI 추론을 실행한다.
• 게이트웨이, 로컬 서버, CCTV, 공장 단말 장치 등에서 처리한다.

1.1.3. 클라우드 AI(Cloud AI)

• 대규모 서버와 GPU 클러스터에서 학습과 추론을 수행한다.
• 인터넷을 통해 데이터를 업로드하고, 결과를 내려받는다.

1.2 특징 비교

구분	온디바이스 AI	에지 AI	클라우드 AI
위치	단말 내부 (스마트폰, MCU)	네트워크 가장자리 (게이트웨이, CCTV)	데이터센터, 클라우드 서버
지연시간	매우 낮음 (ms 단위)	낮음~중간	높음 (네트워크 왕복 필요)
전력소모	낮음 (배터리 친화적)	중간	높음 (서버 기반)
데이터 보안	매우 높음 (외부 전송 없음)	높음 (국소 처리)	낮음 (데이터 업로드 필요)
확장성	낮음 (기기별 한정)	중간 (로컬망 단위 확장)	매우 높음 (무한 확장 가능)
예시	스마트폰 얼굴인식, 음성 명령	공장 CCTV 이상 감지, 자율주행 게이트웨이	ChatGPT, 대규모 이미지 분석

 

1.3 정리

• 온디바이스 AI는 “내 기기 안에서 돌아가는 AI”라 이해한다.
• 에지 AI는 “네트워크 가까운 쪽에서 돌아가는 AI”라 이해한다.
• 클라우드 AI는 "중앙 대형 서버에서 돌아가는 AI”라 이해한다.

2. Cortex-M vs Ethos

2.1 Cortex-M (CPU)의 역할

• 일반 MCU의 역할을 한다.
• 센서 데이터 수집, 버튼/디스플레이 제어, 로직 실행, RTOS 스케줄링 등을 담당한다.
• 제어와 로직 처리에 최적화되어 있다.

2.2 Ethos (NPU)의 역할

• AI 연산 전용 가속기 역할을 한다.
• 행렬 곱, 합성곱(Convolution) 등 신경망 연산을 병렬로 빠르게 처리한다.
• int8 양자화 모델 등 경량화된 딥러닝 연산을 효율적으로 수행한다.
• 수학적 연산 가속에 최적화되어 있다.

2.3 Cortex-M vs Ethos 비교

구분	Cortex-M (CPU)	Ethos (NPU)
주요 역할	제어, 로직, OS 실행	AI 연산 가속 (행렬 곱, CNN)
처리 대상	센서 입력, 출력 제어, 일반 연산	신경망 연산, ML 모델 추론
장점	범용성, 제어 능력, 저전력	병렬 처리, 빠른 AI 추론, 효율적 연산
비유	감독관 (전체 흐름 관리)	계산병 (무거운 연산 전담)

 

2.4 정리

• Cortex-M은 “두뇌 전체의 지휘자” 역할을 한다.
• Ethos는 “AI 연산만 전담하는 계산 전용 엔진” 역할을 한다.
• 두 가지가 결합되어야 MCU에서 실시간 AI 추론이 가능한 스마트 디바이스가 만들어진다.