아몬드나무 아몬드나무

부스트캠프 Ai tech

• [1] CoAtNet

  부스트캠프 Ai tech/논문리뷰 2022. 2. 11. 12:10

  CoAtNet : Marrying Convolution and Attention for All Data Sizes Abstract Computer Vision에서 Transformers의 관심은 커지고 있지만, SOTA convolutional networks 보다 뒤쳐져있다. Transformers는 larger model capacity를 가지고 있지만, right inductive bias의 부족때문에 generalization은 Convolutional network보다 떨어짐 Transformers와 Convolutional network 두 아키텍처의 장점을 결합하기 위해서 CoAtNets을 제시했다. 두 가지 key insight 1. depthwise Convolution과 self-Att..

  Read More
• 15일 - LeNet5 (개인공부)

  부스트캠프 Ai tech/4주차 2022. 2. 9. 15:56

  import torch import torchvision import torchvision.transforms as transforms # 다양한 이미지 변환 기능들을 제공해줌 transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))]) # R, G, B 채널마다 0~255사이의 값인데 torchvision으로 불러오는 데이터셋은 0~1 범위의 PILImage이다. # 이러한 이미지를 -1~1 범위로 사용하기 위해 Tensor로 정규화시켜준다. (평균:0.5, 표준편차:0.5) #데이터 불러오기 학습여부 o trainset = torchvision.datasets.CIFAR..

  Read More
• 14일 - CNN, LSTM

  부스트캠프 Ai tech/4주차 2022. 2. 8. 19:23

  class ConvolutionalNeuralNetworkClass(nn.Module): """ Convolutional Neural Network (CNN) Class """ def __init__(self,name='cnn',xdim=[1,28,28], ksize=3,cdims=[32,64],hdims=[1024,128],ydim=10, USE_BATCHNORM=False): super(ConvolutionalNeuralNetworkClass,self).__init__() self.name = name self.xdim = xdim self.ksize = ksize self.cdims = cdims self.hdims = hdims self.ydim = ydim self.USE_BATCHNORM = ..

  Read More
• 13일 - Multi-layer perception

  부스트캠프 Ai tech/4주차 2022. 2. 7. 18:17

  import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F %matplotlib inline %config InlineBackend.figure_format='retina' # 더 좋은 화질을 얻을 수 있음 print ("PyTorch version:[%s]."%(torch.__version__)) device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') print ("device:[%s]."%(device)) device에는 gpu ..

  Read More
• 12일 - 색상,

  부스트캠프 Ai tech/3주차 2022. 2. 4. 12:58

  강조, 그리고 색상 대비 강조를 위한 방법 중 하나. 색상 대비(Color Contrast) 사용 명도 대비 : 밝은 색과 어두운 색을 배치하면 밝은 색은 더 밝게, 어두운 색은 더 어둡게 보임 (ex. 회색검정) 색상 대비 : 가까운 색은 차이가 더 크게 보임. (파랑보라, 빨강보라) 채도 대비 : 채도의 차이. 채도가 더 높아보임 (회색주황) 보색 대비 : 정반대 색상을 사용하면 더 선명해 보인다. (빨강초록) 실습 시간이 많아서 이론적으론 딱히 적을게 없었던 것 같다. 오늘 배운것들 (Data Visualization) Text 사용하기 Color 사용하기 Seaborn 기초 Seaborn 심화 Seaborn 같은 경우는 학부 수업으로 들은 경험이 있기 때문에 matplotlib 보다 금방 따라할 ..

  Read More
• 11일 - 데이터 시각화

  부스트캠프 Ai tech/3주차 2022. 2. 3. 11:44

  데이터의 종류 수치형(numerical) 1. 연속형(continuous) : 길이, 무게, 온도 2. 이산형(discrete) : 주사위 눈금, 사람 수 범주형(categorical) 1. 명목형(nominal) : 혈액형, 종교 2. 순서형(ordinal) : 학년 별점, 등급 이산형과 순서형을 나누는 가장 큰 기준은 n배가 될 수 있나 (주사위 눈금은 n배가 가능 but 별점은 n배가 불가능) 미리 데이터의 종류를 파악하는게 시각화 하는데 큰 도움이 된다. 마크와 채널 mark : 점, 선, 면으로 이루어진 데이터 시각화channel : 각 mark를 변경할 수 있는 요소들 Line plot의 요소 5개 이하의 선을 사용하는 것을 추천 : '-', ':', '-.', '--' 구별하는 요소 = 색상..

  Read More
• 소프트맥스 회귀(Softmax Regression)

  부스트캠프 Ai tech/3주차 2022. 1. 31. 12:20

  소프트맥스 회귀(Softmax Regression) 3개 이상의 선택지로부터 1개를 선택하는 문제인 다중 클래스 분류를 풀기 위해 사용, 원-핫 인코딩과 함께 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim x_train = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]] y_train = [2, 2, 2, 1, 1, 1, 0, 0] x_train = torch.FloatTensor(x_train) y_train = torch.Lon..

  Read More
• 로지스틱 회귀

  부스트캠프 Ai tech/2주차 2022. 1. 30. 18:26

  로지스틱 회귀 둘 중 하나를 결정하는 문제를 이진 분류(Binary Classfication)라고 하는데, 이진 분류를 풀기 위한 대표적인 알고리즘으로 로지스틱 회귀(Logistic Regression)이 있다. 선형 회귀 때의 H(x) = Wx + b가 아니라, S자 모양의 그래프를 만들 수 있는 특정 함수 f를 추가적으로 사용하여 나타낸다. H(x) = f(Wx+b) 여기서 사용되는 f = 시그모이드 함수 x = np.arange(-5.0, 5.0, 0.1) y1 = sigmoid(x * 0.5) y2 = sigmoid(x) y3 = sigmoid(x * 2) plt.plot(x, y1, 'r', linestyle='--') plt.plot(x, y2, 'g') plt.plot(x, y3, 'b', ..

  Read More