NAVER D2, profile picture
Uploaded byNAVER D2
PDF, PPTX6,244 views

[225]yarn 기반의 deep learning application cluster 구축 김제민

[225]yarn 기반의 deep learning application cluster 구축 김제민

Embed presentation

Download as PDF, PPTX
1 / 108
2 / 108
3 / 108
4 / 108
5 / 108
6 / 108
7 / 108
8 / 108
9 / 108
10 / 108
11 / 108
12 / 108
13 / 108
14 / 108
15 / 108
16 / 108
17 / 108
18 / 108
19 / 108
20 / 108
21 / 108
22 / 108
23 / 108
24 / 108
25 / 108
26 / 108
27 / 108
28 / 108
29 / 108
30 / 108
31 / 108
32 / 108
33 / 108
34 / 108
35 / 108
36 / 108
37 / 108
38 / 108
39 / 108
40 / 108
41 / 108
42 / 108
43 / 108
44 / 108
45 / 108
46 / 108
47 / 108
48 / 108
49 / 108
50 / 108
51 / 108
52 / 108
53 / 108
54 / 108
55 / 108
56 / 108
57 / 108
58 / 108
59 / 108
60 / 108
61 / 108
62 / 108
63 / 108
64 / 108
65 / 108
66 / 108
67 / 108
68 / 108
69 / 108
70 / 108
71 / 108
72 / 108
73 / 108
74 / 108
75 / 108
76 / 108
77 / 108
78 / 108
79 / 108
80 / 108
81 / 108
82 / 108
83 / 108
84 / 108
85 / 108
86 / 108
87 / 108
88 / 108
89 / 108
90 / 108
91 / 108
92 / 108
93 / 108
94 / 108
95 / 108
96 / 108
97 / 108
98 / 108
99 / 108
100 / 108
101 / 108
102 / 108
103 / 108
104 / 108
105 / 108
106 / 108
107 / 108
108 / 108
YARN, Docker 기반의 Deep Learning Application Cluster 구축 김제민 NAVER Search
하고 있고, 해 왔던 것들
Naver Search • 검색 모델링 • 검색 데이터 정제 • 검색 서비스 • 대용량 데이터 처리 • 분산 데이터 처리 • 실시간 데이터 처리
C3 Hadoop Cluster 소개 • Apache Ambari • Cluster 배포/관리/모니터 • Hadoop 2.7.1 • Hive, Spark, HBase, Oozie etc ..
Deep Learning • Machine Learning 기법 중의 하나 • Artificial Neural Network 인데 Deep함 < AlexNet > • 60 million parameters and 650,000 neurons From “ImageNetClassification with Deep Convolutional Neural Networks”
Deep Learning Breakthrough • 학습의 어려움 극복 • 2006, “A fast learning algorithm for deep belief nets” by Geoffrey E. Hinton • Hardware • GPU 성능의 발전 • NVIDIA CUDA
Deep Learning 은 거의 모든 분야에서 절대적으로 성능이 우월함
이제 Deep Learning 으로 Go, Go !!!
• 다수의 프로젝트 • 다수의 연구원/개발자 But • GPU 자원은 제한적
Server Server Server Server
GPU 자원의 효과적인 공유 필요성 ? GPU Cluster
Deep Learning Application 개발 환경 • GPU • NVIDIA CUDA • Deep Learning Frameworks • Caffe • TensorFlow • Torch • Theano • Keras
그래서 결론적으로 지금 우리에게 필요한 것은 …
Multi-tenantDeep Learning Application 실행 환경 • 다양한 Deep Learning Framework 지원 • GPU Cluster 자원 관리 ? GPU Cluster DL Application DL Application DL Application
Hadoop YARN 기반의 Multi-tenantDeep Learning Application 실행 환경 ? GPU Cluster Hadoop YARN DL Application DL Application DL Application
Why YARN ? • Mesos ? • YARN의 장점 • Capacity Scheduler : Queue기반의 ResourceScheduling • Enterprise환경에서 ResourcePlanning 용이 • 기타 • 기존 클러스터(C3)와의 호환성 및 통합 가능성 • Cluster 배포 및 관리 시스템 기존재 (Ambari) • YARN Cluster 운영 Knowhow
목차 1. Technical Issues 2. Deep Learning Application Toolset 개발 3. C3 Deep Learning Cluster 구축
1. Technical Issues
Technical Issues 1) YARN Cluster에서 Shell Script Application 실행 2) 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling
1. 1) YARN Cluster 에서 Shell Script Application 실행
Shell Script Application on YARN ? YARN Cluster CPU Core 1 Memory 1G Main main.sh dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G tar DL Application
Hadoop YARN • Hadoop YARN ( Hadoop v2) • Yet Another ResourceNegotiator • MapReduce이외에 일반적인 Application 실행 가능 • CPU,Memory 기반의 ResourceScheduling • YARN 구조 • ResourceManager ( Master) • Node Manager ( Slaves ) • 최소 실행 단위 : Container
YARN 구조 Resource Manager (Master) Node Manager (Slave) Server Container Container Container Container NM NM
YARN Application Resource Manager (Master) NM Application Master Container NM NM Container Request
YARN Application Resource Manager (Master) NM Application Master Container Container NM NM Container Container
Shell Script Application on YARN ? YARN Cluster CPU Core 1 Memory 1G Main main.sh dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G tar DL Application
YARN Application 개발하기 • ApplicationMaster ResourceManager • org.apache.hadoop.yarn.client.api.async.AMRMClientAsync • InterfaceAMRMClientAsync.CallbackHandler • ApplicationMaster NodeManager • org.apache.hadoop.yarn.client.api.async.NMClientAsync • InterfaceNMClientAsync.CallbackHandler
YARN Distributed Shell (Example) • https://github.com/apache/hadoop-common/tree/trunk/hadoop-yarn-project/hadoop-yarn/hadoop-yarn- applications/hadoop-yarn-applications- distributedshell/src/main/java/org/apache/hadoop/yarn/applications/distributedshell • ApplicationMaster.java • Client.java • DSConstants.java • Log4jPropertyHelper.java
C3 Distributed Shell • Yarn Distributed Shell 기반 • 추가 기능 • CONTAINTER_INDEX, NUM_CONTAINERS 환경 변수 • YARN-5696 • Server Node 에 따른 Resource요청 • 특정 Server Node 에 Resource요청 • Server Node Blacklist설정 • YARN-4703
Technical Issues ü YARN Cluster에서 Shell Script Application 실행 2) 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell
1. 2) 다양한 Deep Learning Framework 환경 제공
Classical Approach • 모든 DL Framework를 모든 서버에 설치 • Installation, Upgrade, Update 등 유지 보수의 어려움 • 같은 DL Framework 에서 Multi Version 지원 이슈 • 서로 상이한 DL Framework간의 Library 의존성 충돌 • DevOps Tools : • Dimensions • ( DL Framworks ) * ( Versions ) * ( 의존 libs ) * ( Server 환경)
각 Deep Learning Framework 환경들이 깔끔히 Isolation되어 관리되면 좋을텐데..
Docker ?
그렇지만 GPU는 ? CUDA는 ? Docker 에서 가능한가?
Docker 에서 CUDA 사용하기 • Docker Image에 NVIDIA User Level Libraries 와 CUDA Library 를 설치 • 제약 : Host에 설치된 NVIDIA Driver Major,Minor Version과 일치 해 야함 • Docker 실행시 NVIDIA Device File 들을 Docker에 노출 $ docker run … --device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia
Docker 에서 CUDA 사용하기 Host Server NVIDIA Kernel Module 361.48 User Level NVIDIA Libs 361.48 NVIDIA Driver Version Major 361 Minor Docker Container(Image) User Level NVIDIA Libs 361.48 GPU Application CUDA Libs /dev/nvidiactl /dev/nvidia-uvm /dev/nvidia
그렇지만 Docker Image에 Host 의존성이 …
Nvidia-Docker !!
Nvidia-Docker • Docker 상에서 GPU Device를 사용시 발생하는 Host 의존성을 해결 • GPU Resource Isolation 지원 !!
Nvidia-Docker Host Server NVIDIA Kernel Module 361.48 User Level NVIDIA Libs 361.48 Docker Container(Image) GPU Application CUDA Libs volume User Level NVIDIA Libs 361.48
Nvidia-Docker 실행 • 기본 실행 • nvidia-docker <docker-options> <docker-command> <docker- args> • GPU isolation • NV_GPU 환경 변수에 GPU Device ID 목록을 설정 • NV_GPU='0,1' nvidia-docker <docker-options> <docker-command> … • Docker Image 제약 • Nvidia-docker 용으로 미리 build된 image 사용
Nvidia-docker 기반으로 Deep Learning Framework 환경을 Docker Image로 제공
Technical Issues ü YARN Cluster에서 Shell Script Application 실행 ü 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell è Nvidia-Docker
1. 3) YARN Cluster에서 GPU Resource Scheduling
YARN GPU Scheduling 현상황 • 현재 YARN 은 CPU와 Memory 만으로 스케쥴링 • GPU Scheduling은 지원하지 않음 • 새로운 자원 형태를 Scheduling 하기 위해서는 부가적인 개발이 필요함
YARN GPU Scheduling 개발 주요 Source Code 변경 대상 • YARN Protocol • YARN Configuration • Resource 추상화 객체 • Dominant Resource Calculator *YARN JIRA : YARN-5517
YARN Protocol • yarn_protos.proto • yarn_service_protos.proto Implementation Details • yarn_protos.proto message ResourceProto {
 optional int32 memory = 1;
 optional int32 virtual_cores = 2;
 optional int32 gpu_cores = 3;
 } enum SchedulerResourceTypes {
 MEMORY = 0;
 CPU = 1;
 GPU = 2;
 } • yarn_service_protos.proto Implementation Details • yarn_protos.proto message ResourceProto {
 optional int32 memory = 1;
 optional int32 virtual_cores = 2;
 optional int32 gpu_cores = 3;
 } enum SchedulerResourceTypes {
 MEMORY = 0;
 CPU = 1;
 GPU = 2;
 } • yarn_service_protos.proto
YARN Configuration • org.apache.hadoop.yarn.conf.YarnConfiguration Implementation Details • org.apache.hadoop.yarn.conf.YarnConfiguration public static final String RM_SCHEDULER_MINIMUM_ALLOCATION_GCORES =
 YARN_PREFIX + "scheduler.minimum-allocation-gcores";
 public static final int DEFAULT_RM_SCHEDULER_MINIMUM_ALLOCATION_GCORES = 0; public static final String RM_SCHEDULER_MAXIMUM_ALLOCATION_GCORES =
 YARN_PREFIX + "scheduler.maximum-allocation-gcores";
 public static final int DEFAULT_RM_SCHEDULER_MAXIMUM_ALLOCATION_GCORES = 8; public static final String NM_GCORES = NM_PREFIX + "resource.gcores";
 public static final int DEFAULT_NM_GCORES = 0;
Resource 객체 • org.apache.hadoop.yarn.util.resource.Resource Implementation Details • org.apache.hadoop.yarn.util.resource.Resources public static Resource createResource(int memory) {
 return createResource(memory, (memory > 0) ? 1 : 0, 0);
 }
 
 public static Resource createResource(int memory, int cores) {
 return createResource(memory, cores, 0);
 }
 
 public static Resource createResource(int memory, int cores, int gcores) {
 Resource resource = Records.newRecord(Resource.class);
 resource.setMemory(memory);
 resource.setVirtualCores(cores);
 resource.setGpuCores(gcores);
 return resource;
 } 
 public int getGpuCores() { return 0; }
 
 public void setGpuCores(int gcores) { throw new RuntimeException("NONE cannot be modified!"); }
 
 public int compareTo(Resource o) {
 int diff = 0 - o.getMemory();
 if (diff == 0) {
 diff = 0 - o.getVirtualCores();
 if (diff == 0) {
 diff = 0 - o.getGpuCores();
 }
 }
 return diff;
 }
Dominant Resource Calculator • org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
YARN UI 변화 UI Changes * 테스트용 클러스터 화면 캡쳐
YARN Cluster CPU Core 1 Memory 1G GPU 3 Main main.sh tar dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G GPU 3 C3 Distributed Shell : GPU 추가
Technical Issues ü YARN Cluster에서 Shell Script Application 실행 ü 다양한 Deep Learning Framework 환경 제공 ü YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell è Nvidia-Docker è YARN with GPU Scheduling 개발
2. Deep Learning Application Launcher 및 Toolset 개발
Deep Learning Application Toolset 개발 • GPU Device ID Manager • DL(Deep Learning) App Concept • DL App Launcher • DL App Tools • DL App Log • DL App 개발 환경
GPU Device ID 할당 문제점 • 문제점 : YARN은 GPU 갯수만 관리함 • Deep Learning Application에 명시적으로 GPU Device ID를 할당하는 로직 필요
GPU Device ID Manager • Cluster 전체의 GPU Device ID Allocation 정보를 Zookeeper 를 통해 관리 • GPU Device ID Manager • python kazoo lib • 분산 Lock • GPU Device ID 할당/해제 • Garbage Collection { ”host01": { "gpu0": "application_id_01", "gpu1": “application_id_01”, "gpu2": “application_id_02”, "gpu3": “application_id_03” }, “host02": { "gpu0": “application_id_04", … }, … }
DL(Deep Learning) App 구현 Concept • DL App 구성 요소 • Deep Learning Framework 환경 (Caffe, TensorFlow …) • User Program ( Source Code) • Input Data • Output Data Input Output DL Framework 환경 Source Code
YARN Cluster CPU Core 1 Memory 1G GPU 3 Main main.sh tar dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G GPU 3 C3 Distributed Shell C3 Distributed Shell User Program ( Source Code) Input Data ?
DL(Deep Learning) App 구현 Concept • DL App 구성 요소 • Deep Learning Framework 환경 (Caffe, TensorFlow …) • User Program ( Source Code) • Input Data • Output Data Input Output DL Framework 환경 Source Code
DL(Deep Learning) App 구현 Concept • Input/Output Data • Data Repository Tech. • NFS • Ceph, GlusterFS, Lustre ü HDFS • C3 HDFS Storage를 저장소로 사용
DL(Deep Learning) App 구현 Concept • Docker Container의 데이터는 volatile함 • Docker Container안에 permanent한 작업 영역(dir)이 필요함 • DL App Workspace (Directory) • DL App 실행을 위한 File/Dir들이 존재하는 영역 • User Program Src Code, Input/OutputData 들이 위치함 • Host Server상의 Directory이며 , Docker Container에 volumemount 되는 영역
DL(Deep Learning) App 구현 Concept /User_Dev_Workspace /DL_App_Workspace Deep Learning App Input Output User Container
DL App 실행 과정
DL App 실행 과정 YARN Container Yarn Container 시작
DL App 실행 과정 YARN Container GPU Device ID 할당 GPU Device ID Manager GPU 0,3 Zookeeper
YARN Container DL App 실행 과정 DL App Workspace Source Code User Workspace 복사 GPU 0,3
YARN Container DL App 실행 과정 DL App Workspace Input Source Code Input Data 복사 GPU 0,3
YARN Container DL App 실행 과정 DL App Workspace( NVIDIA Docker ) Input Source Code NVIDIA Docker Cotainer 실행 GPU 0,3
YARN Container DL App 실행 과정 DL App Workspace( NVIDIA Docker ) Input Source Code Docker Volume DL App Workspace Mount GPU 0,3
YARN Container DL App 실행 과정 ( NVIDIA Docker ) Input Source Code DL App Docker 실행 GPU 0,3
YARN Container DL App 실행 과정 ( NVIDIA Docker ) Input Source Code Output DL App Docker 실행 GPU 0,3
YARN Container DL App 실행 과정 Input Source Code Output DL App Workspace DL App Docker 종료 GPU 0,3
YARN Container DL App 실행 과정 Input Source Code Output DL App Workspace OutputData 복사 GPU 0,3
DL App 실행 과정 YARN Container GPU Device ID 해제 GPU Device ID Manager GPU 0,3 Zookeeper
DL App 실행 과정 YARN Container Yarn Container 종료
DL App 실행 과정 Yarn Container 종료
원하는 DL App Properties • Docker Image • 실행 Src Code Dir Path • main 실행 script • Resource : CPU,Mem,GPU • Input Data 경로 • Output Data 경로 DL App 생성 및 실행하기 C3 Distributed Shell DL App 실행 과정 2) GPU ID 할당 3) User Workspace 복사 4) Input Data 복사 5) DL App Workspace 구성 완료 6) DL App NVIDIA Docker 실행 7) Output Data 복사 8) GPU ID 해제 YARN Cluster Shell Script Application Shell Script Application 생성
dl_app.properties • Docker Image • 실행 Src Code Dir Path • main 실행 script • Resource : CPU,Mem,GPU • Input Data 경로 • Output Data 경로 C3 Distributed Shell DL App 실행 과정 2) GPU ID 할당 3) User Workspace 복사 4) Input Data 복사 5) DL App Workspace 구성 완료 6) DL App NVIDIA Docker 실행 7) Output Data 복사 8) GPU ID 해제 YARN Cluster dlapp-launcher dl_app.properties DL App Launcher Shell Script Application Shell Script Application 생성
• Caffe LeNet MNIST Example • caffe/examples/mnist 기반 • . ├── dl_app_caffe.properties └── user_dev_workspace ├── create_mnist.sh ├── data/ ├── dl_app_start.sh ├── examples/ ├── lenet_solver.prototxt ├── lenet_train_test.prototxt ├── output/ └── train_lenet.sh dlapp-launcher 실행 예
• dl_app_caffe.properties [application] username=tony appname='c3 deeplearning app caffe mnist example' docker_image=naver/c3_dl-caffe user_dev_workspace_path=./user_dev_workspace user_shell_script=dl_app_start.sh user_shell_args='-gpu all' [from_hdfs] hdfs=/user/tony/caffe_test/* input_path=data [to_hdfs] output_path=output hdfs=/user/tony/caffe_mnist_example_output overwrite=true • dl_app_start.sh #!/usr/bin/env bash ./create_mnist.sh ./train_lenet.sh $@ dlapp-launcher 실행 예 . ├── dl_app_caffe.properties └── user_dev_workspace ├── create_mnist.sh ├── data/ ├── dl_app_start.sh ├── examples/ ├── lenet_solver.prototxt ├── lenet_train_test.prototxt ├── output/ └── train_lenet.sh
dlapp-launcher 실행 예 $ dlapp-launcher dl_app_caffe.properties C3 DL Cluster Version check : ok CheckDLAppProperties : ok user_dev_workspace_path = /path/to/user_dev_workspace user_dev_workspace_exclude_list = [] user_dev_workspace dir size = 4 kb DL App Submission : OK DL App ID = application_aaaaaaaaaaa_bbbb DL App Dashboard * While app is running , check : http://XXXXXXXXX/cluster/app/application_aaaaaaaaaaa_bbbb * After app is completed, check : http://XXXXXXXXX/applicationhistory/app/application_aaaaaaaaaaa_bbbb DL App Status and stdout/stderr Log URLs * dlapp-status application_aaaaaaaaaaa_bbbb
DL App Tools • dlapp-status [ DL App ID ] • dlapp-list [Username] • dlapp-softkill [Username] [ DL App ID ] • dlapp-kill [Username] [ DL App ID ]
dlapp-launcher 실행 예
DL App Log 확인 • YARN History,Timeline Server 기능 활용 • YARN Application stdout/stderr Log 는 Web 또는 yarn 명령어을 통 해 확인 가능 • YARN Container 의 Attempt ID 및 Container ID 를 통해 확인 • dlapp-status tool을 통해 stdout/stderr Log URL 제공
dlapp-status 실행 예 $ dlapp-status application_aaaaaaaaaaa_bbbb DL App application_aaaaaaaaaaa_bbbb is FINISHED Username : tony DL App ID : application_aaaaaaaaaaa_bbbb DL App Name : 'c3 deeplearning app caffe mnist example' startTime : 2016-09-26 22:24:11.575000 finishTime : 2016-09-26 22:24:57.703000 elapsedTime : 0:00:46.13 stdout http://XXXXX/applicationhistory/logs/XXXXX/container_aaaaaaaaaaa_bbbb_01_000004/container_aaaaaaaaaaa_bbbb _01_000004/tony/stdout/?start=-4096 stderr http://XXXXX/applicationhistory/logs/XXXXX/container_aaaaaaaaaaa_bbbb_01_000004/container_aaaaaaaaaaa_bbbb _01_000004/tony/stderr/?start=-4096
Example
dlapp-status 실행 예
dlapp-list 실행 예
dlapp-kill 실행 예
DL App Development 환경의 필요성 • DL App을 개발하려면 GPU 장비가 필요함 • 초기 DL App개발 시점에서 기본적인 검증 용도로 DL Cluster를 이용하는 것은 매우 번거로움 • 코드의 사소한 실수를 수정하는 과정의 반복 • Input/outputData등의 Directory 구조 확인
DL App Development 환경 • DL App 개발 전용 GPU 서버 구축 • dlapp-shell • dlapp-launcher 와 동일한 Docker Image 및 Workspace로 실행되는 docker bash 환경 제공 • dlapp-run : dlapp-shell 환경에서 C3 DL Cluster 에 dl app 을 실행
YARN Container DL App 실행 과정 ( NVIDIA Docker ) Input Source Code DL App Docker 실행 GPU 0,3
DL App 개발 서버 DL App Shell ( NVIDIA Docker ) : Bash Shell Source Code GPU 0,3
dlapp-shell 실행 예 dl_app_dev_server dl_app_dev_server dl_app_dev_server dl_app_dev_server dl_app_dev_server dl_app_dev_server user user user user yarn_resource_manager yarn_timeline_server aaaaaaaaa_bbbb aaaaaaaaa_bbbb aaaaaaaaa_bbbb aaaaaaaaa_bbbb docker shell
DL App Toolset • dlapp-launcher dl_app.properties • dlapp-shell dl_app.properties • dlapp-run • dlapp-status [DL App ID] • dlapp-list [Username] • dlapp-softkill [Username] [DL App ID] • dlapp-kill [Username] [DL App ID]
3. C3 Deep Learning Cluster
Hadoop YARN 기반의 Multi-tenantDeep Learning Application 실행 환경 ? GPU Cluster Hadoop YARN DL Application DL Application DL Application
DL Application C3 Deep Learning Cluster Zookeeper Dev. Environment Dev. Server Resource Manager YARN Node Manager YARN Docker Registry C3 HDFS Storage YARN with GPU Scheduling Node Manager YARN Node Manager YARN . . . C3 Distributed Shell NVIDIA Docker GPU Device ID Manager Input Output DL App Toolset dlapp-launcher dlapp-shell dlapp-run
DL Framework Docker Images DL Solution Docker Image Caffe naver/c3_dl-caffe Torch naver/c3_dl-torch Theano naver/c3_dl-theano TensorFlow naver/c3_dl-tensorflow Theano+Keras naver/c3_dl-theano-keras TensorFlow+Keras naver/c3_dl-tensorflow-keras Base (CUDA/cuDNN) naver/c3_dl-base
• Resource 관리 • GPU 자원 Utilization 증가 • GPU ResourcePlanning ( YARN Queue) • Administration • 작업 이력 관리 • 프로젝트 관리 • 사용자 관리 • DevOps • 규격화된 개발 환경 제공 • 개발 환경 공유 개선점
• 검색 품질 향상을 위한 seq2seq 기반의 검색 키워드 변환 • word2vec,CNN 기반의 문서 주제 분류 • CNN 기반의 Image Tagger • 이외 다수의 프로젝트가 실행중 현재 C3 DL Cluster에서는 … * CNN : Convolutional Neural Network
To Do
To Do • GPU Resource Scheduling 고도화 • 대용량 Input Data • Input Data Caching • Input Data Feeder • Distributed Deep Learning
Q&A
Thank You

More Related Content

PPTX
Building secure applications with keycloak
byAbhishek Koserwal
 
PDF
React
by중운 박
 
PDF
[143] Modern C++ 무조건 써야 해?
byNAVER D2
 
PPTX
SQL Injections - A Powerpoint Presentation
byRapid Purple
 
PDF
DNS hijacking using cloud providers – No verification needed
byFrans Rosén
 
PDF
Garage4Hackers Ranchoddas Webcast Series - Bypassing Modern WAF's Exemplified...
byGarage4hackers.com
 
PPT
Introduction to MongoDB
byRavi Teja
 
PDF
Building Advanced XSS Vectors
byRodolfo Assis (Brute)
 
Building secure applications with keycloak
byAbhishek Koserwal
 
React
by중운 박
 
[143] Modern C++ 무조건 써야 해?
byNAVER D2
 
SQL Injections - A Powerpoint Presentation
byRapid Purple
 
DNS hijacking using cloud providers – No verification needed
byFrans Rosén
 
Garage4Hackers Ranchoddas Webcast Series - Bypassing Modern WAF's Exemplified...
byGarage4hackers.com
 
Introduction to MongoDB
byRavi Teja
 
Building Advanced XSS Vectors
byRodolfo Assis (Brute)
 

What's hot

PPTX
Cryptography for Java Developers: Nakov jProfessionals (Jan 2019)
bySvetlin Nakov
 
PPTX
Introduction to Spring Boot
byPurbarun Chakrabarti
 
PPTX
John the ripper & hydra password cracking tool
byMd. Raquibul Hoque
 
PPTX
Installing and running Postfix within a docker container from the command line
bydotCloud
 
PPSX
Spring - Part 1 - IoC, Di and Beans
byHitesh-Java
 
PPTX
Introduction to spring boot
bySantosh Kumar Kar
 
PDF
Virtual machine and javascript engine
byDuoyi Wu
 
PDF
Docker란 무엇인가? : Docker 기본 사용법
bypyrasis
 
PDF
The Secret Life of a Bug Bounty Hunter – Frans Rosén @ Security Fest 2016
byFrans Rosén
 
PPTX
Intro to flask
byMohamed Essam
 
PDF
Microservice With Spring Boot and Spring Cloud
byEberhard Wolff
 
PPTX
Dangling DNS records takeover at scale
byChandrapal Badshah
 
PDF
우아한 모노리스
byArawn Park
 
PPTX
Python/Flask Presentation
byParag Mujumdar
 
PPTX
A8 cross site request forgery (csrf) it 6873 presentation
byAlbena Asenova-Belal
 
PPTX
Burp Suite Starter
byFadi Abdulwahab
 
PDF
DVGA writeup
byYu Iwama
 
PDF
HTTP Security Headers
byIsmael Goncalves
 
PPTX
Advanced JavaScript
byNascenia IT
 
PPTX
Spring boot
bysdeeg
 
Cryptography for Java Developers: Nakov jProfessionals (Jan 2019)
bySvetlin Nakov
 
Introduction to Spring Boot
byPurbarun Chakrabarti
 
John the ripper & hydra password cracking tool
byMd. Raquibul Hoque
 
Installing and running Postfix within a docker container from the command line
bydotCloud
 
Spring - Part 1 - IoC, Di and Beans
byHitesh-Java
 
Introduction to spring boot
bySantosh Kumar Kar
 
Virtual machine and javascript engine
byDuoyi Wu
 
Docker란 무엇인가? : Docker 기본 사용법
bypyrasis
 
The Secret Life of a Bug Bounty Hunter – Frans Rosén @ Security Fest 2016
byFrans Rosén
 
Intro to flask
byMohamed Essam
 
Microservice With Spring Boot and Spring Cloud
byEberhard Wolff
 
Dangling DNS records takeover at scale
byChandrapal Badshah
 
우아한 모노리스
byArawn Park
 
Python/Flask Presentation
byParag Mujumdar
 
A8 cross site request forgery (csrf) it 6873 presentation
byAlbena Asenova-Belal
 
Burp Suite Starter
byFadi Abdulwahab
 
DVGA writeup
byYu Iwama
 
HTTP Security Headers
byIsmael Goncalves
 
Advanced JavaScript
byNascenia IT
 
Spring boot
bysdeeg
 

Similar to [225]yarn 기반의 deep learning application cluster 구축 김제민

PDF
[225]빅데이터를 위한 분산 딥러닝 플랫폼 만들기
byNAVER D2
 
PDF
YARN overview
byJEONGPHIL HAN
 
PDF
Docker기반 분산 플랫폼
bySeongHyun Jeong
 
PDF
모두의 클라우드 딥러닝
byNAVER Engineering
 
PDF
(소스콘 2015 발표자료) Apache HORN, a large scale deep learning
byEdward Yoon
 
PDF
[AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트
byAmazon Web Services Korea
 
PDF
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
byhoondong kim
 
PDF
하둡2 YARN 짧게 보기
bybeom kyun choi
 
PDF
[OpenInfra Days Korea 2018] Day 2 - E5: GPU on Kubernetes
byOpenStack Korea Community
 
PPTX
Hadoop administration
byRyan Guhnguk Ahn
 
PPTX
Advanced nGrinder
byJunHo Yoon
 
PDF
Lablupconf session7 People don't know what they want until LABLUP show it to ...
byLablup Inc.
 
PDF
머신러닝 및 데이터 과학 연구자를 위한 python 기반 컨테이너 분산처리 플랫폼 설계 및 개발
byJeongkyu Shin
 
PDF
[E-commerce & Retail Day] 인공지능서비스 활용방안
byAmazon Web Services Korea
 
PDF
[2017 AWS Startup Day] 스타트업이 인공지능을 만날 때 : 딥러닝 활용사례와 아키텍쳐
byAmazon Web Services Korea
 
PPTX
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
byAmazon Web Services Korea
 
PDF
[233]멀티테넌트하둡클러스터 남경완
byNAVER D2
 
PPTX
딥러닝(Deep Learing) using DeepDetect
byJunyi Song
 
PDF
Bigdata with Google Cloud
by정출 김
 
PDF
AWS의 비용 효율적 고성능기계학습(ML) 플랫폼 뛰어들기 - 윤석찬 수석 테크 에반젤리스트, AWS :: AWS Innovate 2019
byAmazon Web Services Korea
 
[225]빅데이터를 위한 분산 딥러닝 플랫폼 만들기
byNAVER D2
 
YARN overview
byJEONGPHIL HAN
 
Docker기반 분산 플랫폼
bySeongHyun Jeong
 
모두의 클라우드 딥러닝
byNAVER Engineering
 
(소스콘 2015 발표자료) Apache HORN, a large scale deep learning
byEdward Yoon
 
[AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트
byAmazon Web Services Korea
 
Auto Scalable 한 Deep Learning Production 을 위한 AI Serving Infra 구성 및 AI DevOps...
byhoondong kim
 
하둡2 YARN 짧게 보기
bybeom kyun choi
 
[OpenInfra Days Korea 2018] Day 2 - E5: GPU on Kubernetes
byOpenStack Korea Community
 
Hadoop administration
byRyan Guhnguk Ahn
 
Advanced nGrinder
byJunHo Yoon
 
Lablupconf session7 People don't know what they want until LABLUP show it to ...
byLablup Inc.
 
머신러닝 및 데이터 과학 연구자를 위한 python 기반 컨테이너 분산처리 플랫폼 설계 및 개발
byJeongkyu Shin
 
[E-commerce & Retail Day] 인공지능서비스 활용방안
byAmazon Web Services Korea
 
[2017 AWS Startup Day] 스타트업이 인공지능을 만날 때 : 딥러닝 활용사례와 아키텍쳐
byAmazon Web Services Korea
 
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
byAmazon Web Services Korea
 
[233]멀티테넌트하둡클러스터 남경완
byNAVER D2
 
딥러닝(Deep Learing) using DeepDetect
byJunyi Song
 
Bigdata with Google Cloud
by정출 김
 
AWS의 비용 효율적 고성능기계학습(ML) 플랫폼 뛰어들기 - 윤석찬 수석 테크 에반젤리스트, AWS :: AWS Innovate 2019
byAmazon Web Services Korea
 

More from NAVER D2

PDF
[211] 인공지능이 인공지능 챗봇을 만든다
byNAVER D2
 
PDF
[233] 대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing: Maglev Hashing Scheduler i...
byNAVER D2
 
PDF
[215] Druid로 쉽고 빠르게 데이터 분석하기
byNAVER D2
 
PDF
[245]Papago Internals: 모델분석과 응용기술 개발
byNAVER D2
 
PDF
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
byNAVER D2
 
PDF
[235]Wikipedia-scale Q&A
byNAVER D2
 
PDF
[244]로봇이 현실 세계에 대해 학습하도록 만들기
byNAVER D2
 
PDF
[243] Deep Learning to help student’s Deep Learning
byNAVER D2
 
PDF
[234]Fast & Accurate Data Annotation Pipeline for AI applications
byNAVER D2
 
PDF
Old version: [233]대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing
byNAVER D2
 
PDF
[226]NAVER 광고 deep click prediction: 모델링부터 서빙까지
byNAVER D2
 
PDF
[225]NSML: 머신러닝 플랫폼 서비스하기 & 모델 튜닝 자동화하기
byNAVER D2
 
PDF
[224]네이버 검색과 개인화
byNAVER D2
 
PDF
[216]Search Reliability Engineering (부제: 지진에도 흔들리지 않는 네이버 검색시스템)
byNAVER D2
 
PDF
[214] Ai Serving Platform: 하루 수 억 건의 인퍼런스를 처리하기 위한 고군분투기
byNAVER D2
 
PDF
[213] Fashion Visual Search
byNAVER D2
 
PDF
[232] TensorRT를 활용한 딥러닝 Inference 최적화
byNAVER D2
 
PDF
[242]컴퓨터 비전을 이용한 실내 지도 자동 업데이트 방법: 딥러닝을 통한 POI 변화 탐지
byNAVER D2
 
PDF
[212]C3, 데이터 처리에서 서빙까지 가능한 하둡 클러스터
byNAVER D2
 
PDF
[223]기계독해 QA: 검색인가, NLP인가?
byNAVER D2
 
[211] 인공지능이 인공지능 챗봇을 만든다
byNAVER D2
 
[233] 대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing: Maglev Hashing Scheduler i...
byNAVER D2
 
[215] Druid로 쉽고 빠르게 데이터 분석하기
byNAVER D2
 
[245]Papago Internals: 모델분석과 응용기술 개발
byNAVER D2
 
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
byNAVER D2
 
[235]Wikipedia-scale Q&A
byNAVER D2
 
[244]로봇이 현실 세계에 대해 학습하도록 만들기
byNAVER D2
 
[243] Deep Learning to help student’s Deep Learning
byNAVER D2
 
[234]Fast & Accurate Data Annotation Pipeline for AI applications
byNAVER D2
 
Old version: [233]대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing
byNAVER D2
 
[226]NAVER 광고 deep click prediction: 모델링부터 서빙까지
byNAVER D2
 
[225]NSML: 머신러닝 플랫폼 서비스하기 & 모델 튜닝 자동화하기
byNAVER D2
 
[224]네이버 검색과 개인화
byNAVER D2
 
[216]Search Reliability Engineering (부제: 지진에도 흔들리지 않는 네이버 검색시스템)
byNAVER D2
 
[214] Ai Serving Platform: 하루 수 억 건의 인퍼런스를 처리하기 위한 고군분투기
byNAVER D2
 
[213] Fashion Visual Search
byNAVER D2
 
[232] TensorRT를 활용한 딥러닝 Inference 최적화
byNAVER D2
 
[242]컴퓨터 비전을 이용한 실내 지도 자동 업데이트 방법: 딥러닝을 통한 POI 변화 탐지
byNAVER D2
 
[212]C3, 데이터 처리에서 서빙까지 가능한 하둡 클러스터
byNAVER D2
 
[223]기계독해 QA: 검색인가, NLP인가?
byNAVER D2
 

[225]yarn 기반의 deep learning application cluster 구축 김제민

  • 1.
    YARN, Docker 기반의 DeepLearning Application Cluster 구축 김제민 NAVER Search
  • 2.
    하고 있고, 해왔던 것들
  • 3.
    Naver Search • 검색모델링 • 검색 데이터 정제 • 검색 서비스 • 대용량 데이터 처리 • 분산 데이터 처리 • 실시간 데이터 처리
  • 4.
    C3 Hadoop Cluster소개 • Apache Ambari • Cluster 배포/관리/모니터 • Hadoop 2.7.1 • Hive, Spark, HBase, Oozie etc ..
  • 6.
    Deep Learning • MachineLearning 기법 중의 하나 • Artificial Neural Network 인데 Deep함 < AlexNet > • 60 million parameters and 650,000 neurons From “ImageNetClassification with Deep Convolutional Neural Networks”
  • 7.
    Deep Learning Breakthrough •학습의 어려움 극복 • 2006, “A fast learning algorithm for deep belief nets” by Geoffrey E. Hinton • Hardware • GPU 성능의 발전 • NVIDIA CUDA
  • 8.
    Deep Learning 은 거의모든 분야에서 절대적으로 성능이 우월함
  • 9.
    이제 Deep Learning으로 Go, Go !!!
  • 10.
    • 다수의 프로젝트 •다수의 연구원/개발자 But • GPU 자원은 제한적
  • 11.
  • 12.
    GPU 자원의 효과적인공유 필요성 ? GPU Cluster
  • 13.
    Deep Learning Application개발 환경 • GPU • NVIDIA CUDA • Deep Learning Frameworks • Caffe • TensorFlow • Torch • Theano • Keras
  • 14.
  • 15.
    Multi-tenantDeep Learning Application실행 환경 • 다양한 Deep Learning Framework 지원 • GPU Cluster 자원 관리 ? GPU Cluster DL Application DL Application DL Application
  • 16.
    Hadoop YARN 기반의 Multi-tenantDeepLearning Application 실행 환경 ? GPU Cluster Hadoop YARN DL Application DL Application DL Application
  • 17.
    Why YARN ? •Mesos ? • YARN의 장점 • Capacity Scheduler : Queue기반의 ResourceScheduling • Enterprise환경에서 ResourcePlanning 용이 • 기타 • 기존 클러스터(C3)와의 호환성 및 통합 가능성 • Cluster 배포 및 관리 시스템 기존재 (Ambari) • YARN Cluster 운영 Knowhow
  • 18.
    목차 1. Technical Issues 2.Deep Learning Application Toolset 개발 3. C3 Deep Learning Cluster 구축
  • 19.
  • 20.
    Technical Issues 1) YARNCluster에서 Shell Script Application 실행 2) 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling
  • 21.
    1. 1) YARN Cluster에서 Shell Script Application 실행
  • 22.
    Shell Script Applicationon YARN ? YARN Cluster CPU Core 1 Memory 1G Main main.sh dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G tar DL Application
  • 23.
    Hadoop YARN • HadoopYARN ( Hadoop v2) • Yet Another ResourceNegotiator • MapReduce이외에 일반적인 Application 실행 가능 • CPU,Memory 기반의 ResourceScheduling • YARN 구조 • ResourceManager ( Master) • Node Manager ( Slaves ) • 최소 실행 단위 : Container
  • 24.
    YARN 구조 Resource Manager (Master) Node Manager (Slave) ServerContainer Container Container Container NM NM
  • 25.
    YARN Application Resource Manager (Master) NM ApplicationMaster Container NM NM Container Request
  • 26.
    YARN Application Resource Manager (Master) NM ApplicationMaster Container Container NM NM Container Container
  • 27.
    Shell Script Applicationon YARN ? YARN Cluster CPU Core 1 Memory 1G Main main.sh dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G tar DL Application
  • 28.
    YARN Application 개발하기 •ApplicationMaster ResourceManager • org.apache.hadoop.yarn.client.api.async.AMRMClientAsync • InterfaceAMRMClientAsync.CallbackHandler • ApplicationMaster NodeManager • org.apache.hadoop.yarn.client.api.async.NMClientAsync • InterfaceNMClientAsync.CallbackHandler
  • 29.
    YARN Distributed Shell(Example) • https://github.com/apache/hadoop-common/tree/trunk/hadoop-yarn-project/hadoop-yarn/hadoop-yarn- applications/hadoop-yarn-applications- distributedshell/src/main/java/org/apache/hadoop/yarn/applications/distributedshell • ApplicationMaster.java • Client.java • DSConstants.java • Log4jPropertyHelper.java
  • 30.
    C3 Distributed Shell •Yarn Distributed Shell 기반 • 추가 기능 • CONTAINTER_INDEX, NUM_CONTAINERS 환경 변수 • YARN-5696 • Server Node 에 따른 Resource요청 • 특정 Server Node 에 Resource요청 • Server Node Blacklist설정 • YARN-4703
  • 31.
    Technical Issues ü YARNCluster에서 Shell Script Application 실행 2) 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell
  • 32.
    1. 2) 다양한 Deep LearningFramework 환경 제공
  • 33.
    Classical Approach • 모든DL Framework를 모든 서버에 설치 • Installation, Upgrade, Update 등 유지 보수의 어려움 • 같은 DL Framework 에서 Multi Version 지원 이슈 • 서로 상이한 DL Framework간의 Library 의존성 충돌 • DevOps Tools : • Dimensions • ( DL Framworks ) * ( Versions ) * ( 의존 libs ) * ( Server 환경)
  • 34.
    각 Deep LearningFramework 환경들이 깔끔히 Isolation되어 관리되면 좋을텐데..
  • 35.
  • 36.
    그렇지만 GPU는 ? CUDA는? Docker 에서 가능한가?
  • 37.
    Docker 에서 CUDA사용하기 • Docker Image에 NVIDIA User Level Libraries 와 CUDA Library 를 설치 • 제약 : Host에 설치된 NVIDIA Driver Major,Minor Version과 일치 해 야함 • Docker 실행시 NVIDIA Device File 들을 Docker에 노출 $ docker run … --device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia
  • 38.
    Docker 에서 CUDA사용하기 Host Server NVIDIA Kernel Module 361.48 User Level NVIDIA Libs 361.48 NVIDIA Driver Version Major 361 Minor Docker Container(Image) User Level NVIDIA Libs 361.48 GPU Application CUDA Libs /dev/nvidiactl /dev/nvidia-uvm /dev/nvidia
  • 39.
  • 40.
  • 41.
    Nvidia-Docker • Docker 상에서GPU Device를 사용시 발생하는 Host 의존성을 해결 • GPU Resource Isolation 지원 !!
  • 42.
    Nvidia-Docker Host Server NVIDIA KernelModule 361.48 User Level NVIDIA Libs 361.48 Docker Container(Image) GPU Application CUDA Libs volume User Level NVIDIA Libs 361.48
  • 43.
    Nvidia-Docker 실행 • 기본실행 • nvidia-docker <docker-options> <docker-command> <docker- args> • GPU isolation • NV_GPU 환경 변수에 GPU Device ID 목록을 설정 • NV_GPU='0,1' nvidia-docker <docker-options> <docker-command> … • Docker Image 제약 • Nvidia-docker 용으로 미리 build된 image 사용
  • 44.
    Nvidia-docker 기반으로 Deep LearningFramework 환경을 Docker Image로 제공
  • 45.
    Technical Issues ü YARNCluster에서 Shell Script Application 실행 ü 다양한 Deep Learning Framework 환경 제공 3) YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell è Nvidia-Docker
  • 46.
    1. 3) YARN Cluster에서 GPUResource Scheduling
  • 47.
    YARN GPU Scheduling현상황 • 현재 YARN 은 CPU와 Memory 만으로 스케쥴링 • GPU Scheduling은 지원하지 않음 • 새로운 자원 형태를 Scheduling 하기 위해서는 부가적인 개발이 필요함
  • 48.
    YARN GPU Scheduling개발 주요 Source Code 변경 대상 • YARN Protocol • YARN Configuration • Resource 추상화 객체 • Dominant Resource Calculator *YARN JIRA : YARN-5517
  • 49.
    YARN Protocol • yarn_protos.proto •yarn_service_protos.proto Implementation Details • yarn_protos.proto message ResourceProto {
 optional int32 memory = 1;
 optional int32 virtual_cores = 2;
 optional int32 gpu_cores = 3;
 } enum SchedulerResourceTypes {
 MEMORY = 0;
 CPU = 1;
 GPU = 2;
 } • yarn_service_protos.proto Implementation Details • yarn_protos.proto message ResourceProto {
 optional int32 memory = 1;
 optional int32 virtual_cores = 2;
 optional int32 gpu_cores = 3;
 } enum SchedulerResourceTypes {
 MEMORY = 0;
 CPU = 1;
 GPU = 2;
 } • yarn_service_protos.proto
  • 50.
    YARN Configuration • org.apache.hadoop.yarn.conf.YarnConfiguration ImplementationDetails • org.apache.hadoop.yarn.conf.YarnConfiguration public static final String RM_SCHEDULER_MINIMUM_ALLOCATION_GCORES =
 YARN_PREFIX + "scheduler.minimum-allocation-gcores";
 public static final int DEFAULT_RM_SCHEDULER_MINIMUM_ALLOCATION_GCORES = 0; public static final String RM_SCHEDULER_MAXIMUM_ALLOCATION_GCORES =
 YARN_PREFIX + "scheduler.maximum-allocation-gcores";
 public static final int DEFAULT_RM_SCHEDULER_MAXIMUM_ALLOCATION_GCORES = 8; public static final String NM_GCORES = NM_PREFIX + "resource.gcores";
 public static final int DEFAULT_NM_GCORES = 0;
  • 51.
    Resource 객체 • org.apache.hadoop.yarn.util.resource.Resource ImplementationDetails • org.apache.hadoop.yarn.util.resource.Resources public static Resource createResource(int memory) {
 return createResource(memory, (memory > 0) ? 1 : 0, 0);
 }
 
 public static Resource createResource(int memory, int cores) {
 return createResource(memory, cores, 0);
 }
 
 public static Resource createResource(int memory, int cores, int gcores) {
 Resource resource = Records.newRecord(Resource.class);
 resource.setMemory(memory);
 resource.setVirtualCores(cores);
 resource.setGpuCores(gcores);
 return resource;
 } 
 public int getGpuCores() { return 0; }
 
 public void setGpuCores(int gcores) { throw new RuntimeException("NONE cannot be modified!"); }
 
 public int compareTo(Resource o) {
 int diff = 0 - o.getMemory();
 if (diff == 0) {
 diff = 0 - o.getVirtualCores();
 if (diff == 0) {
 diff = 0 - o.getGpuCores();
 }
 }
 return diff;
 }
  • 52.
    Dominant Resource Calculator •org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
  • 53.
    YARN UI 변화 UIChanges * 테스트용 클러스터 화면 캡쳐
  • 54.
    YARN Cluster CPU Core1 Memory 1G GPU 3 Main main.sh tar dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G GPU 3 C3 Distributed Shell : GPU 추가
  • 55.
    Technical Issues ü YARNCluster에서 Shell Script Application 실행 ü 다양한 Deep Learning Framework 환경 제공 ü YARN Cluster에서 GPU Resource Scheduling è C3 Distributed Shell è Nvidia-Docker è YARN with GPU Scheduling 개발
  • 56.
  • 57.
    Deep Learning ApplicationToolset 개발 • GPU Device ID Manager • DL(Deep Learning) App Concept • DL App Launcher • DL App Tools • DL App Log • DL App 개발 환경
  • 58.
    GPU Device ID할당 문제점 • 문제점 : YARN은 GPU 갯수만 관리함 • Deep Learning Application에 명시적으로 GPU Device ID를 할당하는 로직 필요
  • 59.
    GPU Device IDManager • Cluster 전체의 GPU Device ID Allocation 정보를 Zookeeper 를 통해 관리 • GPU Device ID Manager • python kazoo lib • 분산 Lock • GPU Device ID 할당/해제 • Garbage Collection { ”host01": { "gpu0": "application_id_01", "gpu1": “application_id_01”, "gpu2": “application_id_02”, "gpu3": “application_id_03” }, “host02": { "gpu0": “application_id_04", … }, … }
  • 60.
    DL(Deep Learning) App구현 Concept • DL App 구성 요소 • Deep Learning Framework 환경 (Caffe, TensorFlow …) • User Program ( Source Code) • Input Data • Output Data Input Output DL Framework 환경 Source Code
  • 61.
    YARN Cluster CPU Core1 Memory 1G GPU 3 Main main.sh tar dl_app.tar.gz data/ examples/ output/ main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh data/ examples/ output/ ü main.sh create_mnist.sh lenet_solver.prototxt lenet_train_test.prototxt train_lenet.sh CPU Core 1 Memory 1G GPU 3 C3 Distributed Shell C3 Distributed Shell User Program ( Source Code) Input Data ?
  • 62.
    DL(Deep Learning) App구현 Concept • DL App 구성 요소 • Deep Learning Framework 환경 (Caffe, TensorFlow …) • User Program ( Source Code) • Input Data • Output Data Input Output DL Framework 환경 Source Code
  • 63.
    DL(Deep Learning) App구현 Concept • Input/Output Data • Data Repository Tech. • NFS • Ceph, GlusterFS, Lustre ü HDFS • C3 HDFS Storage를 저장소로 사용
  • 64.
    DL(Deep Learning) App구현 Concept • Docker Container의 데이터는 volatile함 • Docker Container안에 permanent한 작업 영역(dir)이 필요함 • DL App Workspace (Directory) • DL App 실행을 위한 File/Dir들이 존재하는 영역 • User Program Src Code, Input/OutputData 들이 위치함 • Host Server상의 Directory이며 , Docker Container에 volumemount 되는 영역
  • 65.
    DL(Deep Learning) App구현 Concept /User_Dev_Workspace /DL_App_Workspace Deep Learning App Input Output User Container
  • 66.
  • 67.
    DL App 실행과정 YARN Container Yarn Container 시작
  • 68.
    DL App 실행과정 YARN Container GPU Device ID 할당 GPU Device ID Manager GPU 0,3 Zookeeper
  • 69.
    YARN Container DL App실행 과정 DL App Workspace Source Code User Workspace 복사 GPU 0,3
  • 70.
    YARN Container DL App실행 과정 DL App Workspace Input Source Code Input Data 복사 GPU 0,3
  • 71.
    YARN Container DL App실행 과정 DL App Workspace( NVIDIA Docker ) Input Source Code NVIDIA Docker Cotainer 실행 GPU 0,3
  • 72.
    YARN Container DL App실행 과정 DL App Workspace( NVIDIA Docker ) Input Source Code Docker Volume DL App Workspace Mount GPU 0,3
  • 73.
    YARN Container DL App실행 과정 ( NVIDIA Docker ) Input Source Code DL App Docker 실행 GPU 0,3
  • 74.
    YARN Container DL App실행 과정 ( NVIDIA Docker ) Input Source Code Output DL App Docker 실행 GPU 0,3
  • 75.
    YARN Container DL App실행 과정 Input Source Code Output DL App Workspace DL App Docker 종료 GPU 0,3
  • 76.
    YARN Container DL App실행 과정 Input Source Code Output DL App Workspace OutputData 복사 GPU 0,3
  • 77.
    DL App 실행과정 YARN Container GPU Device ID 해제 GPU Device ID Manager GPU 0,3 Zookeeper
  • 78.
    DL App 실행과정 YARN Container Yarn Container 종료
  • 79.
    DL App 실행과정 Yarn Container 종료
  • 80.
    원하는 DL AppProperties • Docker Image • 실행 Src Code Dir Path • main 실행 script • Resource : CPU,Mem,GPU • Input Data 경로 • Output Data 경로 DL App 생성 및 실행하기 C3 Distributed Shell DL App 실행 과정 2) GPU ID 할당 3) User Workspace 복사 4) Input Data 복사 5) DL App Workspace 구성 완료 6) DL App NVIDIA Docker 실행 7) Output Data 복사 8) GPU ID 해제 YARN Cluster Shell Script Application Shell Script Application 생성
  • 81.
    dl_app.properties • Docker Image •실행 Src Code Dir Path • main 실행 script • Resource : CPU,Mem,GPU • Input Data 경로 • Output Data 경로 C3 Distributed Shell DL App 실행 과정 2) GPU ID 할당 3) User Workspace 복사 4) Input Data 복사 5) DL App Workspace 구성 완료 6) DL App NVIDIA Docker 실행 7) Output Data 복사 8) GPU ID 해제 YARN Cluster dlapp-launcher dl_app.properties DL App Launcher Shell Script Application Shell Script Application 생성
  • 82.
    • Caffe LeNetMNIST Example • caffe/examples/mnist 기반 • . ├── dl_app_caffe.properties └── user_dev_workspace ├── create_mnist.sh ├── data/ ├── dl_app_start.sh ├── examples/ ├── lenet_solver.prototxt ├── lenet_train_test.prototxt ├── output/ └── train_lenet.sh dlapp-launcher 실행 예
  • 83.
    • dl_app_caffe.properties [application] username=tony appname='c3 deeplearningapp caffe mnist example' docker_image=naver/c3_dl-caffe user_dev_workspace_path=./user_dev_workspace user_shell_script=dl_app_start.sh user_shell_args='-gpu all' [from_hdfs] hdfs=/user/tony/caffe_test/* input_path=data [to_hdfs] output_path=output hdfs=/user/tony/caffe_mnist_example_output overwrite=true • dl_app_start.sh #!/usr/bin/env bash ./create_mnist.sh ./train_lenet.sh $@ dlapp-launcher 실행 예 . ├── dl_app_caffe.properties └── user_dev_workspace ├── create_mnist.sh ├── data/ ├── dl_app_start.sh ├── examples/ ├── lenet_solver.prototxt ├── lenet_train_test.prototxt ├── output/ └── train_lenet.sh
  • 84.
    dlapp-launcher 실행 예 $dlapp-launcher dl_app_caffe.properties C3 DL Cluster Version check : ok CheckDLAppProperties : ok user_dev_workspace_path = /path/to/user_dev_workspace user_dev_workspace_exclude_list = [] user_dev_workspace dir size = 4 kb DL App Submission : OK DL App ID = application_aaaaaaaaaaa_bbbb DL App Dashboard * While app is running , check : http://XXXXXXXXX/cluster/app/application_aaaaaaaaaaa_bbbb * After app is completed, check : http://XXXXXXXXX/applicationhistory/app/application_aaaaaaaaaaa_bbbb DL App Status and stdout/stderr Log URLs * dlapp-status application_aaaaaaaaaaa_bbbb
  • 85.
    DL App Tools •dlapp-status [ DL App ID ] • dlapp-list [Username] • dlapp-softkill [Username] [ DL App ID ] • dlapp-kill [Username] [ DL App ID ]
  • 86.
  • 87.
    DL App Log확인 • YARN History,Timeline Server 기능 활용 • YARN Application stdout/stderr Log 는 Web 또는 yarn 명령어을 통 해 확인 가능 • YARN Container 의 Attempt ID 및 Container ID 를 통해 확인 • dlapp-status tool을 통해 stdout/stderr Log URL 제공
  • 88.
    dlapp-status 실행 예 $dlapp-status application_aaaaaaaaaaa_bbbb DL App application_aaaaaaaaaaa_bbbb is FINISHED Username : tony DL App ID : application_aaaaaaaaaaa_bbbb DL App Name : 'c3 deeplearning app caffe mnist example' startTime : 2016-09-26 22:24:11.575000 finishTime : 2016-09-26 22:24:57.703000 elapsedTime : 0:00:46.13 stdout http://XXXXX/applicationhistory/logs/XXXXX/container_aaaaaaaaaaa_bbbb_01_000004/container_aaaaaaaaaaa_bbbb _01_000004/tony/stdout/?start=-4096 stderr http://XXXXX/applicationhistory/logs/XXXXX/container_aaaaaaaaaaa_bbbb_01_000004/container_aaaaaaaaaaa_bbbb _01_000004/tony/stderr/?start=-4096
  • 89.
  • 90.
  • 91.
  • 92.
  • 93.
    DL App Development환경의 필요성 • DL App을 개발하려면 GPU 장비가 필요함 • 초기 DL App개발 시점에서 기본적인 검증 용도로 DL Cluster를 이용하는 것은 매우 번거로움 • 코드의 사소한 실수를 수정하는 과정의 반복 • Input/outputData등의 Directory 구조 확인
  • 94.
    DL App Development환경 • DL App 개발 전용 GPU 서버 구축 • dlapp-shell • dlapp-launcher 와 동일한 Docker Image 및 Workspace로 실행되는 docker bash 환경 제공 • dlapp-run : dlapp-shell 환경에서 C3 DL Cluster 에 dl app 을 실행
  • 95.
    YARN Container DL App실행 과정 ( NVIDIA Docker ) Input Source Code DL App Docker 실행 GPU 0,3
  • 96.
    DL App 개발서버 DL App Shell ( NVIDIA Docker ) : Bash Shell Source Code GPU 0,3
  • 97.
  • 98.
    DL App Toolset •dlapp-launcher dl_app.properties • dlapp-shell dl_app.properties • dlapp-run • dlapp-status [DL App ID] • dlapp-list [Username] • dlapp-softkill [Username] [DL App ID] • dlapp-kill [Username] [DL App ID]
  • 99.
  • 100.
    Hadoop YARN 기반의 Multi-tenantDeepLearning Application 실행 환경 ? GPU Cluster Hadoop YARN DL Application DL Application DL Application
  • 101.
    DL Application C3 Deep LearningCluster Zookeeper Dev. Environment Dev. Server Resource Manager YARN Node Manager YARN Docker Registry C3 HDFS Storage YARN with GPU Scheduling Node Manager YARN Node Manager YARN . . . C3 Distributed Shell NVIDIA Docker GPU Device ID Manager Input Output DL App Toolset dlapp-launcher dlapp-shell dlapp-run
  • 102.
    DL Framework DockerImages DL Solution Docker Image Caffe naver/c3_dl-caffe Torch naver/c3_dl-torch Theano naver/c3_dl-theano TensorFlow naver/c3_dl-tensorflow Theano+Keras naver/c3_dl-theano-keras TensorFlow+Keras naver/c3_dl-tensorflow-keras Base (CUDA/cuDNN) naver/c3_dl-base
  • 103.
    • Resource 관리 •GPU 자원 Utilization 증가 • GPU ResourcePlanning ( YARN Queue) • Administration • 작업 이력 관리 • 프로젝트 관리 • 사용자 관리 • DevOps • 규격화된 개발 환경 제공 • 개발 환경 공유 개선점
  • 104.
    • 검색 품질향상을 위한 seq2seq 기반의 검색 키워드 변환 • word2vec,CNN 기반의 문서 주제 분류 • CNN 기반의 Image Tagger • 이외 다수의 프로젝트가 실행중 현재 C3 DL Cluster에서는 … * CNN : Convolutional Neural Network
  • 105.
  • 106.
    To Do • GPUResource Scheduling 고도화 • 대용량 Input Data • Input Data Caching • Input Data Feeder • Distributed Deep Learning
  • 107.
  • 108.