매일 한 걸음씩만

패스트캠퍼스 챌린지 09일차

AWS CLI도구 설치(UBUNTU) - 실습

본 강의는 기본적으로 MacOs에서 진행된다. 따라서 윈도우는 저번처럼 WSL을 설치하여 진행해야 한다. 

WSL을 통해 진행해 보자. (아예 Ubuntu운영체제에서도 상관없다.), AWS CLI V.1 까지는 파이썬 의존성을 가졌으나 V.2부터는 AWS측에서 공식 스크립트를 제공하여 파이썬 의존성을 가지지 않으므로 파이썬 패키지 매니저인 pip를 이용하여 설치하는 것이 불가하다. 따라서 다음과 같이 설치해야 한다.

패키지 목록 갱신

sudo apt update 

sudo apt install unzip build-essential curl 

자세한 사항은 다음 url을 참조: https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-linux.html 

공식문서에서 설치 하는 것을안내하고 있으나 본 강의에서는 특정 버전을 사용하는 것을 권장하고 있음. 

• curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64-2.2.16.zip" -o "awscliv2.zip"
• unzip awscliv2.zip # unzip 하면 다운로드 됨. 
• sudo ./aws/install

- unzip awscliv2.zip은 수십초에서 컴퓨터 사양에 따라 수분 정도 걸림(강사 컴퓨터는 수십초에 끝났으나 내 컴퓨터에서는 수분 소요되었음)

- 비밀번호 입력하고 컴퓨터 사양에 따라 꽤 오래 걸릴 수도 있음. (난 잘못 입력한 줄 알고 계속 다시 입력;;)

제대로 설치 되었음. 

version도 2.2.16으로 잘 설치되었음

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성 되었습니다.

#패스트캠퍼스 #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #한 번에 끝내는 AWS 인프라 구축과 DevOps 운영 초격차 패키지 Online!

https://bit.ly/3FVdhDa

내시경을 하고 왔습니다. 

위내시경은 할만하다고 하길래 일단 비수면으로 했습니다. 

그런데 당일날 와이프가 대장내시경이 매우 힘들다고 겁주면서 수면으로 바꾸라고 했습니다. 

사실 저도 위내시경 후기만 봤지 대장 내시경 후기는 인터넷에서 보지 못해서 ㅠ 이렇게 후기를 남깁니다. 

(조금이라도 도움이 되셨으면 해서ㅠ)

본론부터 말하면 저는 위내시경이 더 힘들었습니다. 토하고 구역질하고 우웩우웩 5분도 안 걸렸던 것 같은데 

다 토하고 헛구역질 하니까 간호사 분이 엄청 아픈 줄 알고 '숨쉬는 거에 집중하세요~' 계속 이러셨어요...

 대장내시경은 위내시경에 비해 시간은 좀 더 오래 걸렸지만 부끄러움만 감수할 수 있다면 고통은 생각보다 덜하더군요. 각오를 하고 있어서 그런가..; 꿈틀꿈틀하는 것만 심호흡하면서 씁하씁하 참으면 견딜만 했습니다. 그에 비하면 위내시경은 우웩우웩..

솔직히 관장약 먹는 게 더 고통스러웠어요=_=

그런데 이건 카테고리 쓸 게 없네

그냥 카테고리 없이 써야지

패스트캠퍼스 챌린지 08일차

AWS CLI도구 설치 및 사용

• AWS CLI 소개  - AWS CLI 소개 및 설치
• AWS 엑세스 키 발급 - AWS계정에 접속하여 엑세스 키 발급

• AWS CLI 설정 - 발급받은 엑세스 키를 통해 AWS CLI를 설정하는 방법을 알아 볼 것
• AWS CLI 사용방법 - 간단한 사용 방법을 알아 볼 것

 원래라면 본 강의가 MacOS기반이기 떄문에 바로 Ubuntu로 넘어가야겠지만 AWS CLI에 대한 설명이 대부분 여기에 되어 있기 때문에 본 강의에 집중하도록 한다. 그리고 오늘 내가 내시경을 받고 와서 엄청 힘들다. 

AWS CLI 소개

• AWS서비를 관리하기 위한 명령어 도구
• 2013.09 버전 1 출시, 2020.02 버전 2 출시(v.2에서는 AWS SSO를 통한 인증방식을 채택)
• 파이썬 기반으로 작성되어 Boto패키지를 이용( - AWS API와 통신)
• CLI v.2는 Python3.6과의 의존성 있음.
• 콘솔상에서 AWS서비스를 관리하거나 자동화 스크립트를 활용하는데 도움이 됨. 

AWS CLI 설치(Ubuntu)

추후(내일) 설치 해 봄. 

AWS 엑세스 키 발급(In ACCESS 키 발급)

AWS CLI로 본인 계정의 AWS 서비스를 관리하기 위해서는 자격증명을 진행해야 함! 이떄 진행해야 하는 자격증명이 AWS Access key이며 Access Key의 종류가 다음과 같음. 

- Access Key ID: 자격증명 주체를 가리킴: 인증 요청한 사람이 누구인가? 

- Secret Access ID: 자격증명 주체 본인임을 인증: 인증 요청한 사람이 정말 A가 맞는가?

(예. Access Key ID(ID): 인증을 A가 하였음. Secret Access ID(PW): 정말 A가 하였다니까)

1. AWS로그인 > ID클릭> 내 보안 자격증명

2. ACCCSS키 > 새 액세스키 만들기

3. 키 파일 다운로드

AWS CLI 설정 자격증명 설정방법(우선순위 있음)

- 여러가지 설정하는 방법이 있으나 번호가 높아 질 수록 우선순위 있음. - 

1. CLI 설정 파일을 통한 설정

~/.aws/config 설정: 기본 설정과 추가 사용자 프로파일을 지정(대부분 이렇게 설정)

2. CLI 명령어를 통한 설정: 선호하지 않음

3. EC2인스턴스 프로파일 설정

 인스턴스 프로파일은  EC2머신이 IAM역할을 부여하기 위해 사용, (예. EC2머신위에 어플리케이션이 올라가는데 해당 어플리케이션이 S3버킷에 파일을 업로드하고자 함. EC2머신에 인스턴스 프로파일을 통해 S3버킷 권한이 있는 IAM권한을 부여하게 되면 이러한 일을 수행할 수 있게 됨 

CLI 설정 파일을 통한 설정(실습 in mac) - 우분투는 내일 설정

본인은 MAC이 없기 떄문에 그냥 강의 하는 도중 스크린샷을 떠왔다. 양해 바란다. 이렇게 에디터로 아까 AWS에서 만든 파일을 열어서 Access랑  Secret키를 추가하면 되는 듯 하다. 

TEST

내 계정 id랑 동일해야 함. (aws sts get-caller-identify)

- AWS CLI 기본 리전 설정

 위의 첫번째 명령어에서는 region을 설정하지 않아서 오류가 나므로 두번째에서 리전을 설정하는 것임. 그러나 이렇게 하면 CLI에 접속할 때마다 region을 설정해 줘야 하는 번거로움이 있으므로 기본 리전을 설정해 주면 편리함. 

config파일에 region을 설정함. 

- AWS결과 출력 형태 방식 

- 기본은 JSON이나 yaml, yable, text모두 지원

- 출력방식 변경방법[output = ""]

- 일시적으로 출력방식 변경하는 방법 --output ""

- AWS CLI 사용자 프로파일 설정

config파일에 [profile name] 섹션을 추가하여 여러 사용자 프로파일 등록 가능

- 여러 AWS 사용명 등록 및 관리 하는 법

• 하나의 기업이 여러 AWS계정을 운영해서 여러 사용자 Profile이 있어서 그 Profile들을 등록해야 할 경우가 있음.
• 하나의 계정에서 여러 리전을 운영해서 그 Profile들을 등록헤야 할 경우가 있음.  
• 동일 계정 내 여러 IAM역할 전환 수행
• AWS SSO수행 등

• aws-configure get region : 현재 설정된 region을 가지고 오는 명령어(여러 region이 설정되어 있을 경우 기본  region)
• aws-configure get region -- profile eu-west-1: profile[이름으로]을 사용하여 region변경
• export AWS_PROFILE=ap-northeast-1: 환경변수를 사용하여 region 변경

인증샷

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성 되었습니다.

#패스트캠퍼스 #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #한 번에 끝내는 AWS 인프라 구축과 DevOps 운영 초격차 패키지 Online!

https://bit.ly/3FVdhDa

패스트캠퍼스 챌린지 07일차

벌써 힘들어진다. 대장 검사라서 쫄쫄 굶고 있기 때문이라서 그런지 모르겠다. 그래도 포기 할 수는 없지. ㅎㅎ 오늘 따라 갈 목차는 다음과 같다. 

AWS SSH 키 등록 및 EC2접속 방법

• AWS SSH 키 등록 
• EC2 머신 생성
• EC2머신 접속
• EC2머신 종료

- 시나리오: ECS머신을 생성한 것으로 SSH키로 접속하고 머신을 종료한다. 

AWS SSH 키 등록

1. EC2 대시보드에 접속

2. 좌측메뉴의 네트워크 및 보안 섹션의 키 페어 선택

3. 키페어 생성 클릭

4, 키 생성

키페어 생성을 클릭하먄 로컬에 키가 다운로드 된다.  EC2와의 연결을 위해서 안전한 장소에 잘 보관하는 것을 추천한다. 그런데 이름이 왜 키-페어인가? 하면, SSH가 비대칭키이기 때문에 그렇다고 한다. 즉, 비대칭키는 개인키와 공개키로 이루어져서 키-페어 라고 한다.  정확히는 하기와 같은 구조이다. EC2의 개인키는 아직 EC2를 설치하지 않아서 설치가 되지 않았지만 공개키(EC2머신의 PUBLIC KEY) - 개인키(내가 가지고 있는 키), 이런 구조이다. 

EC2 머신 생성

1. 인스턴스 > 인스턴스

2. 인스턴스 시작

3. Ubuntu 20.04 선택(프리티어)

4. 프리티어 스펙인 t2 mirco 선택

5. public ip 자동 할당(ssh 연결)

6. 4단계는 SKIP

7. EC2머신을 입력하기 위해 키 입력

8. 새 보안 그룹을 생성하고 SSH 그룹을 모든 IP 대역(0.0.0.0)에 대해서 연다. 

9. 검토 및 시작하기 - 시작하기

SSH키를 선택하도록 함. - 이전 단계에서 만든 키-페어 파일을 선택. (하기의 체크박스 선택)하고 인스턴스 시작. 

EC2머신 접속

1. 연결버튼 클릭

2. 연결 버튼 클릭

3. 연결됨.

EC2 머신 종료

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성 되었습니다.

#패스트캠퍼스 #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #한 번에 끝내는 AWS 인프라 구축과 DevOps 운영 초격차 패키지 Online!

https://bit.ly/3FVdhDa

 패스트캠퍼스 챌린지 06일차  

Ch 3_5) AWS 프리티어 소개

프리티어란 무엇인가? 

• AWS가 첫 사용자를 위해 서비스를 무료 체엄할 수 있게 제공하는 서비스. 제공하는 유형에 따라 언제나 무료, 12개월 무료, 평가판으로 구분 가능. 
• 100가지가 넘는 제품을 사용 가능. 

예)

• EC2(12개월 무료) - 컴퓨팅 파워/S3(파일 업로드나 다운로드 구현) - 5GB 12개월 무료
• Amazon RDS - 관계형 데이터베이스 월별 750시간 사용 가능(12개월 무료)
• 이외에도 많은 프리티어를 제공하므로 사이트에서 확인 바람  

본 강의에서는  이외에 AWS가격 모델 및 AWS 프리티어를 소개하고 AWS프리티어 사용 시 유의사항, 그리고 대표적인 무료 서비스를 소개한다. 

AWS의 가격모델(EC2를 위주로)

 AWS는 기본적으로 사용량에 따른 종량제 과금방식을 채택하고 있다. 하지만 서비스가 무척 많기 떄문에 기업에서 사용하려면 매니저 등에게 상담을 받고 사용하는 것을 추천한다. 물론 개인이 사용하는 것에서는 AWS 요금정책에 대한 페이지(https://aws.amazon.com/ko/pricing)를 참조하면 될 것 같다.  (예. saving plan: S3의 경우 더 많이 사용하면 할인을 해 주므로 더 싼 가격에 사용 가능. 또는 약정을 맺으면 할인을 해 줌. 등 참조 바람.) 즉, EC2의 경우 다름과 같은 과금방식을 가지고 있으나 일반적으로 On-Demand방식으로 사용을 함. 

프리티어 사용 시 유의사항

많은 AWS 서비스를 프리티어로 제공하지만 모든 AWS서비스가 프리티어를 제공하지는 않으므로 한도 확인

각 프리티어 서비스는 한도가 있음.

주의) 프리티어 사용 중 요금이 발생하였다면 체크 할 것

• 하나 이상의 서비스에서 월별 프리티어 사용량의 한도 초과하였나 체크
• 프리티어가 아닌 서비스를 사용하였나 체크
• 프리티어 기간이 만료되었나 체크

<=> 대처 방법

• 프리티어 적용여부 확인
• 요금 발생 리소스 추적(결제 대시보드 - 서비스 별 상세 내역 조회)
• 요금 지불 의향 없는 서비스 종료
• 리소스 사용량 모니털링
• 일반적으로 AWS에 문의하면 환불해 줌. 

AWS의 대표 무료 서비스

- EC2 - 

• t2.micro 인스턴스
• 윈도우 및 리눅스 운영체제를 지원하며 각각 계산
• 월별 750시간 무료 - (전체 인스턴스 사용의 총합)

유의사항)

• EC2는 EBS저장소도 함께 사용하므로 EB2의 한 달 사용량이 프리티어 수준인지 사전에 확인 필요
• 공인 IP를 위해 Elastic IP + EC2를 같이 사용할 때 Elastic IP는 무료이지만 Elastic IP만 독자적으로 사용 될 때는 과금이 됨. 따라서 EC2를 종료 할 때는 Elastic IP도 반드시 종료해야 함. 
• 네트워크 사용량이 무료 제공량(수신 무제한/송신 1GB) 를 초과하지는 않는 지 사전에 확인
• T2계열 인스턴스의 Unlimited Credits옵션을 체크하지는 않았는지 확인

- S3 - 

• 매달 무료 사용량 제공
• 표준 스토리지 5GB제공
• 15GB의 데이터 송신
• 20000건의 GET요청
• 2000건의 PUT/COPY/POST/LIST 요청

- VPC - 

언제나 무료 서비스 제공

가상 네트워크를 구성하기 위한 서비스로 네트워크를 구성만 하고 실제 Traffic이 발생하지 않는다면 많은 리소스를 생성하더라도 과금되지 않는 경우가 많음. 예외의 서비스는 아래에 있음. 

유의사항)

• 네트워크 사용량(traffic)은 과금될 수 있으니 주의
• 대표적인 VPC과금 서비스: NAT Gateway/PrivateLink/Client VPN/Site-To-Site VPN/Elatic IP

- IAM(접근 제어 서비스) - 

AWS를 이용하기 위한 서비스이므로 당연히 무료임.

AWS 계정 및 서비스(User/Group/Role/Policy)에 대한 접근 제어 서비스.

많은 리소스를 생성하더라도 과금되지 않음.

#패스트캠퍼스 #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #한 번에 끝내는 AWS 인프라 구축과 DevOps 운영 초격차 패키지 Online

https://bit.ly/3FVdhDa

저번 포스팅에서 오토인코더의 기본적인 개념에 대해서 알아 보았다. 

복습하면 오토인코더는 딥러닝을 2개 붙여놓은 것으로 

• 하나의 딥러닝 구조는 Encoder로 Hidden(latent space)로 압축 하는 것. 
• 하나의 딥러닝 구조는 Decoder Hidden(latent space)으로 압축된 것에서 원본으로 복원하는 것. 

이다. 즉, 단순히 출력 =입력이 되도록 하는 개념이다. 하지만 이런 Autoencoder도 여러 기법을 사용한다. 

예를 들어서 Denoising autoencoder, 그리고 Stacked encoder와 같은 방법이 존재한다. 

Denoising autoencoder(https://excelsior-cjh.tistory.com/187)

입력에 Noise를 추가하고 노이즈가 없는 우너본 입력을 Decoder가 구성하도록 학습시키는 것. 

일반적으로 Gaussian Random을 추가하며, 복원할 떄는 입력된 초기 값을 복원한다. 

- Denoising Auto Encoder를 사용하면 (Training Data + Noise) - Training Data를 학습한 결과가 Encoder에 넣어져서 노이즈를 붙이기 전 데이터와 노이즈를 붙였을 때 Data와의 차이를 구한다.

- 어떤 Data가 Noise에 대해 강력한 지 알 수 있다. 

- 예) 사람이라면 머리, 눈, 코가 가장 강력하게 구분하는 데 강력한 영향을 미치고, 주근깨 등은 적은 영향을 미침. 

- 따라서 Denoising Auto Encoder를 잘 활용하면 데이터가 별로 없는 상황에서도 어떤 특성이 가잔 영향력을 많이 미치는 지 비지도 학습으로 딥러닝을 수행할 수 있다. 

Stacked Auto Encoder(http://jaynewho.com/post/9)

Auto Encoder자체가 비지도 학습이지만 Stacked Encoder는 Latent Space를 더 많이 사용하여 레이블되지 않은 데이터가 많을 때 사용하는 방법이다. 즉, Hidden layer를 더 많이 사용함으로써, 1)  전체 데이터를 학습시켜서 데이터를 레이블링한 다음 2)  하위 레이어를 사용하여 다시 학습시키는 방법을 사용하여 성능을 증가 시키는 방법을 사용한다. 

이 방법으로 일반적인 오토인코더보다 성능이 훨씬 개선되지만 정확한 수식이나 코드는 아직 보지 못했다. 최근에는 Denoising과 Stacked Auto Encoder를 섞어서 사용하는 것 같은데 이러한 방법에 대해서도 알아 봐야 할 것 같다. 다음에는 이, Stacked Denoising Auto Encoder아니면 Stacked나 Denoising Autoencoder의 코드를 알아 보도록 하겠다. 

-끝- 

패스트캠퍼스 챌린지 05일차

Ch3_4) AWS 소개 및 실습 계정 생성

1. AWS 소개

AWS =! Amazon 

잘 모르는 사람들이 그냥 AWS를 아마존이라고 부르는데 AWS는 아마존이 아니라 아마존의 자회사이다. 아마존은 쇼핑몰임. 그리고 AWS에서 2016년 서울리전을 출시함. 그리고 한국지사도 있어서 고객 지원을 받을 수 있음.

AWS가 인프라 자체를 구축하려면 확실히 PaaS나 IaaS 측면에서 좋다(SaaS는 다른 회사도 좋은 게 많지만). 왜냐하면 엄청나게 많은 서비스를 제공하고 있기 때문이다. (무슨 서비스가 무슨 서비스인지 모를 정도임) GCP나 Azure도 있긴 하지만 아직 AWS에 비해서는 부족하긴 하고 GCP는 약간 비싸다고 예전에 주워 들었다. (근데 나는 Gmail을 비롯하여 안드로이드 관련 서비스를 많이 사용해서 왠지 구글에 정이 감)

어질어질하다. 확실히 매니저의 도움을 받지 않으면 아키텍쳐를 만들기는 어려울 것 같지만 도움을 받으면 효율적인 아키텍쳐의 구성은 가능할 것 같다. 

2. 탄력적 종량 과금제 방식

사전 획약금이나 장기 약정 없이 사용한만큼 비용 부과

• EC2/EBS: 초당 요금 부과
• Lambda: 밀리 초당 요금 부과

(이건 다른 클라우드도 동일한 거 아닌가?)

AWS 실습용 계정 생성

1. AWS 웹페이지 접속(https://aws.amazon.com)

2. id/pw/계정 이름/확인 문자 입력

3. 개인 정보 입력(개인 선택)

4.  결재 정보 입력(정상카드인지 확인하기 위해 소액결재 이후 환불)

5. 전화번호 인증

6. 지원 플랜 선택 - 현재는 학습용아므로 무료 선택

7. 끝

로그인 후 콘솔 처리

1. Root관리자로 로그인. 

2. 그림4의 ID옆에 도시 표시 되어 있는 곳을 서울로 변경 (Region임)

오늘 학습은 여기까지, 다음부터 본격적으로 프리티어로 학습하도록 하겠다.

 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.

 #패스트캠퍼스 #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #한 번에 끝내는 AWS 인프라 구축과 DevOps 운영 초격차 패키지 Online!

https://bit.ly/3FVdhDa

Auto Encoder란 무엇인가

오토인코더란 비지도 학습의 하나로 사람이 라벨링을 해줘서 일일히 가르쳐 줘야 하는 지도학습과 달리(개, 고양이)분류를 하는 일반적으로 우리가 알고 있는 딥러닝과 같이

레이블링을 따로 해 줄 필요가 없다. 

일반적으로 우리가 알고 있는 딥러닝의 구조가 그림2와 같다면 오토인코더의 구조는 그림3과 같다.

간단하게 설명하면 딥러닝을 2개 붙여놓은 구조이다.

• 하나의 딥러닝 구조는 Encoder로 Hidden(latent space)로 압축 하는 것. 
• 하나의 딥러닝 구조는 Decoder Hidden(latent space)으로 압축된 것에서 원본으로 복원하는 것. 

따라서 Auto Encoder를 거치면 원래의 Data를 비슷하게 복원할 수 있다.

하지만 Decoder는 Train Data즉 학습 Data만 제대로 복원할 수 있고 학습하지 않은 Data는 제대로 복원할 수 없다. 

 오토 인코더에 대해서는 자세한 수식도 있고 이에 대해서 설명한 글도 많이 있지만 이는 이해하지 못했으므로 추후에 포스팅 하도록 하고 이번에는 개념적인 것만 포스팅 하도록 한다. 

참고: https://lewisxyz000.tistory.com/22