1) Tech
-
Data set의 분류 (Training / Validation / Test)1) Tech 2020. 2. 24. 00:02
Machine Learning은 Data를 training data, validation data와 test data 3개로 나눠 Training, Validation, Test를 수행한다. 먼저, traning data를 사용하여 training하면서 최적의 parameter를 찾는다. (Output으로 pre-trained weight가 나옴) Validation data를 사용하여 user가 설정하는 Hyper parameter의 적정값을 찾아낸다. 그다음 test data를 사용하여 앞서 training한 model의 Accuracy를 측정한다. (pre-trained weight를 가지고 test를 진행) 1. Training Data : Network Model의 weight을 학습시키기 위한..
-
[linux] 파일 이동(file move), 파일 옮기기1) Tech 2020. 1. 31. 09:23
1. mv mv -옵션 [파일] [이동 위치] 보통 파일이름을 rename 할 때도 mv 명령어를 쓴다. 2. mv와 cp의 차이점 mv 명령어는 cp 명령어는 유사하지만 차이가 존재 cp는 파일을 복사하는 것이므로 원본 파일이 유지 mv는 파일 옮기는 것이므로 이동 시 원본 파일이 삭제 3. mv 옵션 -b: 이동 위치에 대상 파일이나 directory랑 같은 이름이 있을경우, 기존 파일을 백업 후 옮긴다. -f: 이동 위치에 대상 파일이나 directory랑 같은 이름이 있을경우, user에게 물어보지 않고 바로 덮어쓴다. -i: 이동 위치에 대상 파일이나 directory랑 같은 이름이 있을경우, 덮어쓸지 물어본다. -v: 파일을 옮기는 과정을 자세하게 보여준다. -u: 대상 파일이 이동 위치에 있..
-
[Pytorch] tensor to list (list to tensor), list to array (array to list), array to tensor (tensor to array)1) Tech 2020. 1. 29. 21:03
Python의 Pytorch framework와 Numpy library를 이용하다 보면 서로 사용하는 자료형 차이가 있어 많은 어려움이 있다. 한눈에 정리된 자료를 찾을 수 없어서 많은 고생을 했다. 3가지 자료형을 자유자재로 넘어가기 위해서 이렇게 정리를 하였다. 이를 바탕으로 코딩하는데 도움이 되었으면 한다. 1. Python의 자료형 = list (리스트) 2. Numpy의 기본 자료형 = array (배열, ndarray) 3. Pytorch의 자료형 = Tensor (텐서, ndarray와 유사한 자료형) 4. 자료형 변환 (6가지) (1) tensor to list a # tensor a = a.tolist() #list (2) list to tensor a = [] #list a = tor..
-
[Numpy] 생략(' ... ') 제거1) Tech 2020. 1. 28. 10:26
1. introduction python을 사용하다보면 numpy라는 파이썬 라이브러리를 사용하게 된다. numpy는 기본적으로 array를 기본단위로 사용하는데, 쉽게 생각하면 차원에 따라 matrix, vector가 된다. (1차원 = vector, 2차원 = matrix,...) 2. problem 하지만, numpy 배열(array)의 내용물을 하나하나 확인하고 싶은데 array가 너무 크면 일부 array 안의 data가 ...로 생략 되어버린다. 나 또한 이부분 때문에 고생을 했고 이 옵션을 해결하기 위해서 다양한 방법을 찾아보았다. 3. solution import numpy as np #numpy library np.set_printoptions(threshold=np.inf, linewi..
-
[Python] 파이썬 버전 확인 (linux/window)1) Tech 2020. 1. 22. 15:10
컴퓨터나 서버에 python이 깔려있는지 확인하고 싶거나 깔았는데 버전이 몇인지 모를 때 확인 하는 방법입니다. [Window] 명령 프롬프트(command prompt)에 들어가서 다음과 같은 명령어를 사용하면 됩니다. python --version [linux] command에 다음과 같은 명령어를 사용하면 현재 Python의 버전이 나옵니다. python --version * command prompt 란 = Window 계열 운영체제의 Command-Line Interface(CLI)이다. (검은 바탕에 글자들로 구성되어 있다.) * CLI(Command-Line Interface) 란 = GUI(Graphic User Interface) 에 대비되는 개념이다. (ex. window 화면 - 키보..
-
[Anaconda]아나콘다 설치 및 환경 설정1) Tech 2020. 1. 22. 13:42
Anaconda란? = Python기반의 Data Analysis에 필요한 과학 패키지(Tensorflow, Pytorhc, Caffe, Pandas 등)를 모아놓은 flatform으로 용량이 상당히 큼 = 대부분의 패키지가 필요하지 않거나 하드웨어 소스가 제한적일 경우 miniconda라는 대안도 있다. (miniconda = conda + python) => 실제로 사용시 Anaconda 자체의 용량을 무시하기에는 큰 편이다. *아나콘다의 가장 큰 장점 = 가상환경이기 때문에 코드 마다 서로 다른 dependency문제가 발생할 수 있다. 하지만, 아나콘다를 이용하면 독립적인 환경을 생성할 수 있기 때문에 dependency 문제를 해결할 수 있다. 1. Anaconda 설치 및 사용 1) Anaco..
-
[Python library] Numpy란1) Tech 2020. 1. 21. 12:23
Deep learning도 Big data를 다루는 분야이기 때문에 Data analysis 전용 library인 Numpy와 Pandas을 알아야 합니다. Numpy를 다루기 전에 정확히 Numpy 자체가 무엇인지를 파악하고 접근하고자 이렇게 글을 남깁니다. Keywords = Numpy, Python, Array 1. Numpy란? = Python Library 이다. = 시작은 수치해석 전용 Numeric이라는 python package에서 시작하여 확장 (extension)시킨 것이 Numpy이다. = Numpy 자체는 C언어로 구현 되어 있다. = 대형/다차원의 array와 matrix를 다루기 위한 도구 2. Numpy의 기본 단위 = Array라는 단위로 데이터를 관리 및 연산 3. Nump..
-
알고리즘, 계산 복잡도 이론, Big-O notation1) Tech 2020. 1. 20. 16:30
CS (Computer Science)논문을 읽다보면 Big-O에 대한 이야기가 나온다. 특히, 이 글을 읽는 사람들 중에는 Deep learning의 인기덕분에 Neural Network 의 내부 연산과 가속 알고리즘에 대한 관심의 증가로 Big-O를 자주 접했을 것입니다. 하지만, CS 전공자가 아니면 Big-O와 시간복잡도가 친근하지 않아 어려움을 겪을것이라고 생각합니다. 조금이나마 도움이 됬으면 하는 마음에 작성합니다. keywords = asymptotic notation, Big-O 1. Computational complexity theory (계산 복잡도 이론) = 컴퓨터 과학(Computer Science)에서 계산이론(Theory of computation, 컴퓨터 과학의 한갈래)의 분..