[참관후기] 2019 AWS Community Day - re:Invent

소개 글

AWS Community Day는 AWS를 사용하는 개발자 및 고급 사용자들이 주축이 되어 AWS 서비스 활용 방법 및 사용 대한 정보를 공유하는 기술 컨퍼런스입니다. 지난 12월 미국 라스베가스에서 열린 AWS re:Invent 2018 행사에 직접 참여하셨던 분들을 목소리를 통해 클라우드 컴퓨팅의 미래에 대해 알아 보실 수 있는 행사.

본 행사에서는 개발자들이 관심이 높은 AWS 신규 클라우드 서비스 소개 및 각종 서비스 데모, 사용자 모임 및 후원사 부스로 꾸며집니다.

일시: 2019년 1월 25일(금) 오후 1시 – 6시

장소: 세종대학교 컨벤션 B2F 광개토홀 (찾아오시는 방법)

주최: AWS 한국 사용자 모임

대상: AWS 신규 서비스에 관심이 많은 개발자, 시스템 엔지니어, 데이터 과학자 및 고급 사용자

행사 일정 및 소개

키노트

---

AWS re:Invent 2018를 통해 본 개발자들이 원하는 4가지 클라우드 동향 :: 윤석찬 - AWS Community Day 2019 from AWS Korea UserGroup (AWS한국사용자모임)

개발자가 원하는 4가지 클라우드 동향

• 컴퓨팅 : 다양한 선택 폭과 낮은 개발 비용

• 요구사항에 맞는 Database 선택 자유

• 자동 및 실용적 AI 플랫폼 제공

• 미래산업에 대한 진입장벽 철폐

1. ec2 인스턴스

d(disk를 로컬에 붙임. io 빠름), n(network) 등 각 컨셉에 특화된 것들이 나옴

2. AWS app Mesh

- 마이크로서비스에서 서비스 메시로 옮겨가는 중

- 마이크로 서버간 통신이 잘 안되어 모니터링아 잘 되게 하는 중

3. DB 선택의 자유

다양한 DataBase 선택 옵션을 제공하고 있다.

• 관계형

• 키벨류

• 인메모리저장소

• 그래프

• 시계열(Amazon Time Stream)

• 원장

4. 증가하는 AWS 고객의 인공지능 기반 서비스 구현

3개 레이어

1. ML 프레임워크 + infrastructure 

2. ML service

• Sage Maker : 쉽게 기계학습 모델 생성, 훈련 및 서비스 배포 완전 관리 서비스. Ground Truth 이용해 자동 라벨링 가능

• AWS Market Place : 직접 만든 모델, 기존 AWS가 제공하는 모델 이용 가능

• Sage Maker Neo : 딥러닝이 컴파일러

• Sage Maker RL : 강화학습 구축, 교육 및 배포

3. AI Service(API)

• Forecast : 높은 정확성의 시계열 서비스, 상품 판매 예측

• Textract : 문서에서 텍스트와 데이터를 의미적으로 쉽게 추출할 수 있는 서비스

인공지능 및 분석을 위한 데이터 레이크 구성 및 관리

Lake Formation : 며칠 내 안전한 데이터 레이크를 구축할 수 있는 서비스.

내입맛에 맞는 프로그래밍 언어로 Lambda 만들기

---

내 입맞에 맞는 프로그래밍 언어로 Lambda 함수 만들기 :: 정창훈 - AWS Community Day 2019 from AWS Korea UserGroup (AWS한국사용자모임)

카카오 출신 개발자분들의 영향으로 루비를 좋아하는 당근마켓. 그간 AWS 람다에서는 루비를 쓰지 않아 node.js를 사용하고 있었으나 금번 re:invent에서 루비 지원 소식 발표!(라며 php, 코볼 등 모든 언어를 custom runtime에서 구동 가능)

자세한 설명 방법은 연사자님의 블로그에 굉장히 잘 정리되어 있어 링크로 대체한다.

AWS 람다 커스텀 런타임 만들기(feat. 루비 2.6.0)

데이터 라벨링 노가다는 이제 그만, Ground Truth

---

데이터 라벨링 노가다는 이제 그만 - Amazon Sagemaker Ground Truth :: 소성운 - AWS Community Day 2019 from AWS Korea UserGroup (AWS한국사용자모임)

머신러닝을 하기위해서는 데이터가 중요하다. 양질의 데이터가 기본이 되어야 결과 또한 좋은 법.

양질의 데이터를 수집 및 제작하기 위해서 데이터 라벨링이 필요한 경우가 있다.

이때 여러 이유로 양질의 데이터 제작을 방해하는 요소가 생긴다.

이를 방지하고 빠르게 양질의 데이터 라벨링을 위한 Ground Truth를 사용하도록 하자.

머린서링의 서비스를 그대로 녹인 SageMaker을 사용하면 AI 빌드, 튜닝, 트레인, 디플로이가 가능한데 이 때 라벨링도 가능하다. 라벨링 기능이 Ground Truth

Ground Truth

학습 데이터셋을 만들기 위한 레이블링 작업에 대해 워크플로우와 인터페이스를 제공한다. 이를 통해 라벨링 비용이 절감된다.

라벨링 시 문제점

- 사람이 이미지에서 색상 분류는 쉽다. 상품 업로드시 직접 컬러 등을 태깅 할 수 있다.

- 단, 같은 데이터를 두고도 평가자에 따라 라벨링 태그가 달라지는 문제 발생.

라벨링 문제점을 해결하기 위한 Ground Truth

• semantic segmentation, bounding box, image classification, text classification, custom task 가능

• 수백명의 작업자가 같은 룰을 가지고 라벨링이 가능해진다.

• 예제를 통해 어떻게 라벨링할지 가이드를 정할 수 있다.

• 작업자들의 결과를 consolidation하여 이 데이터는 어떤 라벨이다 처럼 보팅기능도 가능.

• 이때, 작업자간 능력이 다를 것이다. 정확도에 대해 가중치(Ground Truth가 부여)되며 이 가주잋를 이용해 Probabilities를 이용해 라벨링 결과를 정한다. 기본 보팅 기능보다 더 나이스하고 합리적인 듯 하다.

Amazon.com의 개인화 추천/예측 기능을 우리도 써봅시다.

---

Amazon.com 의 개인화 추천 / 예측 기능을 우리도 써 봅시다. :: 심호진 - AWS Community Day 2019 from AWS Korea UserGroup (AWS한국사용자모임)

보통 추천 시스템 구축에는 전문가가 필요하다. Amazon Personalize API 이용하여 손쉬운 추천 기능 이용이 가능하다.

다양한 분야 적용 가능

• video, audio, ondemand streaming

• retail ecommerce

• news media

• travel

• ...

Amazon Personalize Recipe

• 준비한 데이터를 분석하는 머신러닝 알고리즘을 레시피라 칭한다.

• DeepFm, HRNN, SIMS, etc. 어느거 선택할지 다 테스트 해보고 할 수 있음.

• AutoML&HPO로 최적의 레시피 선택 및 하이퍼파라미터 튜닝 이런거 다 자동 가능

• 실시간추천 구조

• 구매 시간 고객 번호 상품 번호만 가지고 추천.

• 서빙할때는 캠페인 생성해서 아마존 리소스 네임이 나옴. arn.

• 실제 추천할 떄 재고, 샐러판매중단, 배송불가 등 체크하고 추천해줘야함.

결론

• AWS의 준비된 플랫폼을 효율적으로 활용 가능하다.

• 전문 팀이 있을 경우 플랫폼 구축 시간은 더욱 단축

• 전문 팀이 없어도 고객에게 추천 기능 제공 가능

• 데이터 양 / 리소스 제약에서 벗어남

• 동시에 열 ㅓ모델 학습하여 빠르게 비지니스에 반영

참관 후기

AWS에서 못하는 것이 점점 없어짐을 느껴가고 있다. 즉, AWS에서 고객들이 원하는 바를 잘 캐치하고 있다는 뜻. 덕분에 개발이던 AI던 점점 진입장벽이 낮아져가고 있고 이는 기술의 발전속도를 더욱 빠르게 할 듯 하다.

이러한 이유로 많은 기업들이 개발자 채용시 AWS를 잘 사용하는지를 보는 경우도 많다. 꾸준히 AWS를 체크해나가도록 하자.