Create a solution including deep learning models

딥러닝 모델을
솔루션화 하기
Produced by Tae Young Lee

솔루션의 정의
솔루션이란 어떤 특정한 상황에 대한 해결책으로 사용자의 요구에 따라 프로그램과
관련된 문제들을 처리해주는 하드웨어, 소프트웨어, 기술 등을 가리킨다.
( 잊지 말아야 할 부분 )
모델은 모델일 뿐이다.
모델은 솔루션이 아니다. 해결책을 찾아가는 과정이다.
이 점을 이해하지 못한다면 딥러닝 모델 솔루션은 허상일 뿐이다.

딥러닝 모델을 고객사에 납품하기 위해서는 고객사의 환경을
체크해야 한다
1> 사내 Private 환경 구성 여부 확인
2> 모델 Training 시간을 고려하여 고객사 Infra Resource 확인
3> Service를 위한 Serving구성 제약 요건 확인
4> 거버넌스 확인

지적 재산권 보호
소스 암호화
Docker Image내의 소스 위치를 해 놓고 Path를 알 수 없게 aliasing과 소스 난독화
학습 시 base image로 반입된 IDE 환경 내에서 entrypoint를 잡고 Training할 수 있도록
학습 환경 구성
모델 암호화
PyTorch로 구현된 모델의 경우 .pt → .enc로 Encryption
PyTorch에서는 모델을 저장할 때 .pt 또는 .pth 확장자를 사용하는 것이 일반적인 규칙
.enc 파일 확장자는 암호화 된 파일있는 UUenconded 형식의 파일에 의해 사용됨
이것은 이러한 ENC 파일이 보호 된 데이터를 포함하고,이 형식으로 저장 수단의 데이터이므로 무단 보거나 복사를
방지

딥러닝 프로세스 별 검토 내역

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
BASE IMAGE COMPONENT (SERVING)
APPLICATION
DATA 연동

DATA 연동 확인
기존 DATA PROCESS 확인
DATA를 보유하고 있는 Legacy System 과의 INTERFACE 방안 확인
1> 일 단위 데이터 건수 확인
2> Legacy System 부하 점검
3> Network Latency 확인

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
APPLICATION
학습 DATA
생성 방안

학습 데이터의 상태를 확인 필요
대부분의 학습 데이터는 Legacy System에 모델을 태우기 적합하지 않은 형태로
저장되어 있다.
그래서 POC를 통해 Data의 형태를 이해하고 어떤 모델링 기법을 적용해야 할지
서로 논의하고 확정해야 하는 작업이 필요하다.

학습 DATA 생성 방안 검토
모델에 적합한 데이터 생성 방안 검토
모델의 파이프 라인 구축에 필요한 적절한 학습 데이터 분배 및 할당 필요
학습 DATA형태 (이미지, 텍스트)에 따라 사전 작업 필요
- 텍스트의 경우 corpus 구성 및 tagging방안에 대한 검토 → 카테고리 정립
- 이미지의 경우 Annotation 범위 확정 후 추출해야 할 키 값에 대한 사전 정의
필요

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
APPLICATION

TRAINING 방법 확인
학습을 할 수 있는 환경을 보유하고 있는 지 여부
모델 운영에 대한 정책에 대한 확인
대략적인 학습 소요 시간 추정 및 학습에 바탕이 되는 INFRA SPEC 검토

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
APPLICATION
모델 평가
방법

Model Evaluation 방법 합의
초기 모델에 대한 평가 수행을 통한 평가 가이드 라인 정립

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING APPLICATION
MODEL 서비스 할 형태에 대한 정의 필요

Model을 서비스 할 형태에 대한 정의 필요
구축된 INFRA 환경 점검 및 향후 서비스 프로세스 확인
이를 토대로 MODEL을 SERVING할 수 있는 BASE IMAGE COMPONENT 구성
확정
다수의 모델을 서비스 시 Docker Image내의 세부 컴포넌트 구성 고려

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
APPLICATION
REST API
Embedding
서비스 방안
검토

서비스 방안 검토
Serving 후 Inference 방법에 대한 밀도 있는 확인
Inference Time에 대한 보장을 위한 Infra Resource Check
추론 속도에 따라 Model을 System에 Embed할 것인지 아니면 Rest API형태로
제공할 것인지 Network Latency나 서비스 형태에 따라 검토 필요

MODEL
DATA
TRAIN
TEST
VALID
PREPROCESS
TRAINING
APPLICATION
모델 평가
방법
서비스 방안
검토학습 DATA
생성 방안
DATA 연동

Create a solution including deep learning models

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Create a solution including deep learning models

Similaire à Create a solution including deep learning models (20)

Plus de Tae Young Lee

Plus de Tae Young Lee (20)

Create a solution including deep learning models