티스토리

아몬드나무

검색하기

블로그 홈

아몬드나무

lastwinter.tistory.com/m

소갱 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[1] CoAtNet CoAtNet : Marrying Convolution and Attention for All Data Sizes Abstract Computer Vision에서 Transformers의 관심은 커지고 있지만, SOTA convolutional networks 보다 뒤쳐져있다. Transformers는 larger model capacity를 가지고 있지만, right inductive bias의 부족때문에 generalization은 Convolutional network보다 떨어짐 Transformers와 Convolutional network 두 아키텍처의 장점을 결합하기 위해서 CoAtNets을 제시했다. 두 가지 key insight 1. depthwise Convolution과 self-Att.. 공감수 1 댓글수 0 2022. 2. 11.
15일 - LeNet5 (개인공부) import torch import torchvision import torchvision.transforms as transforms # 다양한 이미지 변환 기능들을 제공해줌 transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))]) # R, G, B 채널마다 0~255사이의 값인데 torchvision으로 불러오는 데이터셋은 0~1 범위의 PILImage이다. # 이러한 이미지를 -1~1 범위로 사용하기 위해 Tensor로 정규화시켜준다. (평균:0.5, 표준편차:0.5) #데이터 불러오기 학습여부 o trainset = torchvision.datasets.CIFAR.. 공감수 0 댓글수 0 2022. 2. 9.
14일 - CNN, LSTM class ConvolutionalNeuralNetworkClass(nn.Module): """ Convolutional Neural Network (CNN) Class """ def __init__(self,name='cnn',xdim=[1,28,28], ksize=3,cdims=[32,64],hdims=[1024,128],ydim=10, USE_BATCHNORM=False): super(ConvolutionalNeuralNetworkClass,self).__init__() self.name = name self.xdim = xdim self.ksize = ksize self.cdims = cdims self.hdims = hdims self.ydim = ydim self.USE_BATCHNORM = .. 공감수 0 댓글수 0 2022. 2. 8.
13일 - Multi-layer perception import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F %matplotlib inline %config InlineBackend.figure_format='retina' # 더 좋은 화질을 얻을 수 있음 print ("PyTorch version:[%s]."%(torch.__version__)) device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') print ("device:[%s]."%(device)) device에는 gpu .. 공감수 1 댓글수 2 2022. 2. 7.
12일 - 색상, 강조, 그리고 색상 대비 강조를 위한 방법 중 하나. 색상 대비(Color Contrast) 사용 명도 대비 : 밝은 색과 어두운 색을 배치하면 밝은 색은 더 밝게, 어두운 색은 더 어둡게 보임 (ex. 회색검정) 색상 대비 : 가까운 색은 차이가 더 크게 보임. (파랑보라, 빨강보라) 채도 대비 : 채도의 차이. 채도가 더 높아보임 (회색주황) 보색 대비 : 정반대 색상을 사용하면 더 선명해 보인다. (빨강초록) 실습 시간이 많아서 이론적으론 딱히 적을게 없었던 것 같다. 오늘 배운것들 (Data Visualization) Text 사용하기 Color 사용하기 Seaborn 기초 Seaborn 심화 Seaborn 같은 경우는 학부 수업으로 들은 경험이 있기 때문에 matplotlib 보다 금방 따라할 .. 공감수 0 댓글수 0 2022. 2. 4.
11일 - 데이터 시각화 데이터의 종류 수치형(numerical) 1. 연속형(continuous) : 길이, 무게, 온도 2. 이산형(discrete) : 주사위 눈금, 사람 수 범주형(categorical) 1. 명목형(nominal) : 혈액형, 종교 2. 순서형(ordinal) : 학년 별점, 등급 이산형과 순서형을 나누는 가장 큰 기준은 n배가 될 수 있나 (주사위 눈금은 n배가 가능 but 별점은 n배가 불가능) 미리 데이터의 종류를 파악하는게 시각화 하는데 큰 도움이 된다. 마크와 채널 mark : 점, 선, 면으로 이루어진 데이터 시각화channel : 각 mark를 변경할 수 있는 요소들 Line plot의 요소 5개 이하의 선을 사용하는 것을 추천 : '-', ':', '-.', '--' 구별하는 요소 = 색상.. 공감수 0 댓글수 0 2022. 2. 3.
소프트맥스 회귀(Softmax Regression) 소프트맥스 회귀(Softmax Regression) 3개 이상의 선택지로부터 1개를 선택하는 문제인 다중 클래스 분류를 풀기 위해 사용, 원-핫 인코딩과 함께 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim x_train = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]] y_train = [2, 2, 2, 1, 1, 1, 0, 0] x_train = torch.FloatTensor(x_train) y_train = torch.Lon.. 공감수 0 댓글수 0 2022. 1. 31.
로지스틱 회귀 로지스틱 회귀 둘 중 하나를 결정하는 문제를 이진 분류(Binary Classfication)라고 하는데, 이진 분류를 풀기 위한 대표적인 알고리즘으로 로지스틱 회귀(Logistic Regression)이 있다. 선형 회귀 때의 H(x) = Wx + b가 아니라, S자 모양의 그래프를 만들 수 있는 특정 함수 f를 추가적으로 사용하여 나타낸다. H(x) = f(Wx+b) 여기서 사용되는 f = 시그모이드 함수 x = np.arange(-5.0, 5.0, 0.1) y1 = sigmoid(x * 0.5) y2 = sigmoid(x) y3 = sigmoid(x * 2) plt.plot(x, y1, 'r', linestyle='--') plt.plot(x, y2, 'g') plt.plot(x, y3, 'b', .. 공감수 0 댓글수 0 2022. 1. 30.
10일 Tensor 3차원으로 구성된 값, 2차원으로 구성된 값은 행렬(Matrix), 데이터사이언스 분야 한정으로 1차원 벡터나 2차원 행렬도 텐서라고 부를 수 있다. 비용 함수(Cost function) 비용 함수(cost function) = 손실 함수(loss function) = 오차 함수(error function) = 목적 함수(objective function) seed 파이썬 코드를 재실행해도 다음에도 같은 결과가 나오도록 하는 것 # 처음으로 짠 코드 ㅎ for epoch in range(10000): hypothesis = x_train * W + b cost = torch.mean((hypothesis-y_train)**2) optimizer.zero_grad() cost.backward(.. 공감수 1 댓글수 2 2022. 1. 28.
9일 torch.nn.CrossEntropyLoss Classfication에서 많이 사용된다. Softmax 함수를 통해 최종값들을 변환시키고 ([0,1] 총 합은 1이 되도록 하는 것), 그 다음 One-hot Label과의 Cross Entropy를 통해 Loss를 구하게 된다. # ImageNet에서 학습된 ResNet 18 딥러닝 모델을 불러옴 imagenet_resnet18 = torchvision.models.resnet18(pretrained=True) print("네트워크 필요 입력 채널 개수", imagenet_resnet18.conv1.weight.shape[1]) print("네트워크 출력 채널 개수 (예측 class type 개수)", imagenet_resnet18.fc.weight... 공감수 1 댓글수 0 2022. 1. 27.
함수 정리 앞으로 공부를 하면서 중간중간 모르는 함수들을 정리할 예정이다. torch : 메인 네임스페이스, 텐서 등의 다양한 수학 함수가 포함되어져 있으며 Numpy와 유사한 구조 torch.autograd : 자동 미분을 위한 함수들이 포함되어져 있다. torch.nn : 신경망을 구축하기 위한 다양한 데이터 구조나 레이어 등이 정의되어져 있다. ex) RNN, LSTM과 같은 레이어, ReLU와 같은 활성화 함수, MSELoss와 같은 손실 함수 torch.optim : 확률적 경사 하강법(Stochastic Gradient Descent, SGD)를 중심으로 한 파라미터 최적화 알고리즘이 구현 torch.randn() : 평균이 0이고 표준편차가 1인 가우시안 정규분포를 이용해 생성 (텐서 생성) torch.. 공감수 1 댓글수 0 2022. 1. 26.
8일 torch.nn.Module 딥러닝을 구성하는 Layer의 base Class Input, Output, Forward, Backward정의 학습의 대상이 되는 parameter(tensor) 정의 class MyLiner(nn.Module): def __init__(self, in_features, out_features, bias=True): super().__init__() self.in_features = in_features self.out_features = out_features self.weights = nn.Parameter( torch.randn(in_features, out_features)) # output과 크기를 맞춰주기 위함 self.bias = nn.Parameter(torc.. 공감수 0 댓글수 0 2022. 1. 26.
7일 - 과제 정리 from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self,): ''' 데이터의 위치나 파일명과 같은 초기화 작업을 위해 동작 ''' pass def __len__(self): ''' Dataset의 최대 요소 수를 반환하는데 사용 ''' pass def __getitem__(self, idx): ''' 데이터셋의 idx번째 데이터를 반환하는데 사용 ''' pass dataset_custom = CustomDataset() 위에서 __init__의 안을 채우는게 과제의 대부분이였다. 처음에는 어떤것을 feature로 해야하는지 label은 어떤걸로 해야 하는지 난감했는데, 친구랑 얘기를 해보고 도움을 받으면서 개.. 공감수 1 댓글수 5 2022. 1. 26.
6일 - torch.gather 오늘 제일 많은 시간을 투자했었던 torch.gather에 대해서 리뷰해보도록 하겠다. gather은 torch에서 이용할 수 있는 함수로 Tensor array에서 원하는 인덱스를 뽑아서 출력할 수 있게 해준다. 이번 과제는 2~3차원 배열이 주어졌을 때, 대각선으로 값을 추출하는 함수를 구현하는 것이었다. def get_diag_element_3D(A): C = A.shape[0] H = A.shape[1] W = A.shape[2] output = torch.gather(A,1,torch.arange(min(H,W)).expand(C,min(H,W)).reshape(C,1,min(H,W))) print(output) output = output.view(C,min(H,W)) return output.. 공감수 0 댓글수 0 2022. 1. 24.
5일 - 정리 정리 잘했던 점 월요일에 정한 학습계획을 다 지킨 것 모든 과제를 풀었던 것 어려운 부분을 구글링을 통해 이해가 될 때까지 공부한 것들,, 아쉬운 점 개인공부량이 부족한 점 -> 한 시간 더 빨리 일어나서 공부 학습정리 내용이 부족 -> 몰랐던 내용, 구글링이나 강의를 통해서 알게 된 내용, 아직도 어려운 내용과 같이 세세하게 정리 강의를 꼼꼼하게 보지 않은 점 -> 앞으로 모든 강의를 2번씩 볼 것 공감수 1 댓글수 0 2022. 1. 21.
4일 - 알고리즘 문제 3일까지 모든 수업을 다 듣고 시간이 남아 오랜만에 알고리즘 문제를 풀었다. slack에 알고리즘 채널이 새로 생겨서 1일 1문제를 실천중이다. 문제를 올려주시는 분이 멘토님인지 캠퍼분인지는 모르겠지만 정말 부지런하시다. https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AWWxqfhKAWgDFAW4 SW Expert Academy SW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요! swexpertacademy.com n = int(input()) array = [] for _ in range(n): array.append(input()) check = [[0 for _ in range(5)] .. 공감수 1 댓글수 2 2022. 1. 20.
3일 - 심화과제 심화과제에서 많은 고민을 했던 부분을 위주로 작성 처음에는 왜 선형회귀에 경사하강법이 나오는지 궁금했다. 선형회귀는 일차함수고, 경사하강법은 이차함수에 사용한다고 생각했던터라 이해가 안가는 부분이 많았다. 유투브와 블로그를 찾아다니면서 공부하던중에 선형회귀에서 쓰는 손실함수를 활용하는데 있어서 경사하강법을 쓰는 것을 알게 되었다. 선형회귀는 output을 통해 일차함수를 얻어내는데 이 과정은 다음과 같다. train_x = (np.random.rand(1000) - 0.5) * 10 train_y = np.zeros_like(train_x) def func(val): fun = sym.poly(7*x + 2) return fun.subs(x, val) for i in range(1000): train_y.. 공감수 1 댓글수 0 2022. 1. 19.
2일 - 경사하강법, 딥러닝 학습방법, 확률론 import sympy as sym from sympy.ab import x sym.diff(sym.poly(x**2 + 2*x + 3), x) -> Poly(2*x + 2, x, domain='ZZ') 미분하는 코드 한 점에서 접선의 기울기를 알게 되면 어느 방향으로 움직여야 함수값이 증가하는지 감소하는지 알 수 있다. 미분값을 더하게 되면 값이 증가하고, 미분값을 빼게 되면 값이 감소한다. -> 경사상승법/경사하강법 극값에 도달하면 움직임을 멈춘다. 그레디언트 벡터 = 각 변수 별로 편미분을 계산한 벡터 벡터는 절대값 대신 노름(norm)을 계산해서 종료조건을 설정한다. for t in range(T): error = y - X @ beta grad = - transpose(X) @ error bet.. 공감수 1 댓글수 0 2022. 1. 18.
1일 - 벡터와 행렬 열벡터(세로), 행벡터(가로) 벡터에 숫자를 곱하게 되면 스칼라 값만 변한다. ( 방향 X , 크기 O ) 같은 모양의 벡터일 때 덧셈 and 뺄셈 and 성분곱(Hadamard product) 가능 x = np.array([1, 2, 3]) y = np.array([2, 3, 4]) x + y x - y x * y / 성분곱 벡터의 뺄셈 -> 덧셈으로 바꿔서 생각 벡터의 노름(norm) 원점에서부터의 거리 L_1 노름 = 변화량의 절댓값의 합 L_2 노름 = 피타고라스 정의를 이용한 유클리드 거리 머신러닝에서 둘 다 사용 행렬(matrix) 벡터를 원소로 가지는 2차원 배열, 공간에서 여러 점들을 나타냄 n X m 행렬 => n개의 행 m개의 열 X_ij = i번째 행 j번째 열 전치행렬 (T 기호를.. 공감수 1 댓글수 0 2022. 1. 17.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.