본문 바로가기

분류 전체보기

(93)
AWS 고정 IP - 탄력적 IP 설정 및 비용 EC2 -> 왼쪽 메뉴 네트워크 및 보안 - 탄력적 IP -> 탄력적 IP주소 할당 -> 할당 -> 탄력적 IP주소 연결 -> 인스턴스 연결 -> 프라이빗IP 선택 -> 연결
pyarrow, parquet 파케이 파켓 대용량 파일을 읽을 수 있는 라이브러리 메모리 내 분석을 위한 개발 플랫폼 빅데이터를 빠르게 처리할 수 있다. $pip install pyarrow csv를 pandas보다 빠르게 읽어 온다. from pyarray import csv df = csv.read_csv("file.csv").to_pandas() parquet 파일을 생성하고 읽을 수 있다. df.to_parquet('df.parquet', engine='pyarrow', compression='snappy') 데이터프레임을 df.parquet파일로 만들어준다. parquet(칼럼 기반 저장 포맷) 칼럼단위로 구성하면 데이터가 균일하므로 압축률이 높다. 필요한 컬럼만 읽으므로 디스크 IO가 적다. 컬럼별로 적합한 인코딩을 사용할 수 있다. ..
[VS Code] Prettier 플러그인 적용 안 될 때 설정(cmd + , )에서 'Default Formatter'를 검색 None을 Prettier - Code formatter로 변경
깃 브랜치 Git Branch Creating branch git branch testing #새로운 브랜치 만들기 git checkout -b testing #새로운 브랜치 만들고 그 브랜치로 이동 git switch -C testing #새로운 브랜치 만들고 그 브랜치로 이동 git checkout testing #해당 이름 브랜치로 이동 git switch testing #해당 이름 브랜치로 이동 Managing Branch git branch #local의 모든 브랜치의 간단한 리스트 보기 git branch -r #remote 브랜치 보기 git branch --all #local과 remote 브랜치 모두 보기 git branch -v #각 브랜치들의 최근 커밋 보기 git branch --merged #현재 브랜치에 me..
깃 기초 Git basic Git 시작하기 git 명령어 —h git config —h 해당 명령어에서 쓰는 속성값들을 볼 수 있음 Git init 깃을 시작할 디렉토리에서 git init 명령어로 깃을 초기화하면 .git이라는 숨김폴더가 생성되고 ls -al로 확인할 수 있다. git repository에 있는 다양한 정보들이 들어있다. 기본적으로 main 브랜치가 만들어지나 master로 만들어질 경우 리모트와 충돌이 날 수 있다. https://blog.outsider.ne.kr/1503 참고. git init #initialise git rm -rf .git #delete .git Show the working tree status git status #full status git status -s #short status..
[ES6] ES6란? ES 는 ECMAScript 의 약자로 숫자 6은 여섯번째 ES를 의미. ECMAScript는 Ecma 인터내셔널의 ECMA-262 기술 규격에 정의된 표준화된 스크립트 프로그래밍 언어입니다. 자바스크립트를 표준화하기 위해서 만들어졌으며 꼭 자바스크립트가 아니더라도 어도비 플래시를 사용하는 소프트웨어에서 사용하는 액션스크립트, MS 사의 인터넷 익스플로러에 쓰이는 J스크립트 등 다른 구현체들 역시 포함하고 있습니다. https://ssungkang.tistory.com/entry/ES6-ES%EB%8A%94-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80-%EC%99%9C-ES6%EC%9D%B8%EA%B0%80
미운코딩새끼 파이썬 기초 필기 - 자료형, 문자열, 리스트 # Numeric: 숫자 int, float # String: 문자열 " " / ' ' # Boolean: 논리 참, 거짓 True/False # List: = [ ] 가변. 안에 있는 값 변경 가능. # Tuple: = ( ) 불변. 리스트와 비슷하지만 안에 있는 값을 바꿀 수 없다. # Dictionary: = { } 키Key:값Value 쌍으로 존재. 수정 가능. - List, Tuple, Dictionary => 컨테이너container str(): 문자열 int(): 정수 float(): 실수 list(): -string을 강제로 바꿀 수 있다. coding -> c, o, r, d, i, n, g #: 코멘트Comment. 주석. 사람이 보기 위해 적을 때. 컴퓨터는 주석 안읽고 무시함. 문자..
[JavaScript] 커링함수 Currying in Functional JavaScript Currying은 무엇인가 Currying 은 1967년 Christopher Strachey 가 Haskell Brooks Curry의 이름에서 착안한 것이다. Currying은 여러 개의 인자를 가진 함수를 호출 할 경우, 파라미터의 수보다 적은 수의 파라미터를 인자로 받으면 누락된 파라미터를 인자로 받는 기법을 말한다. 즉 커링은 함수 하나가 n개의 인자를 받는 과정을 n개의 함수로 각각의 인자를 받도록 하는 것이다. 부분적으로 적용된 함수를 체인으로 계속 생성해 결과적으로 값을 처리하도록 하는 것이 그 본질이다. 출처:sujinlee.me/currying-in-functional-javascript/ [번역] 초보자를 위한 함수형 자바스크립트 Currying 가이드 원문 : A Beginner’s..
딥러닝 개념, 순서 AI > Machine Learning > Deep Learning Machine Learning: model.fit Deep Learning: 인공신경망. 신경망을 본 따서 만듦. ㅇ-하나를 노드(node)라고 함. / 처음 들어가는 레이어 하나 (= Input Layer) ㅇ ㅇ ㅇ ㅇ ㅇ }-하나의 층을 레이어(layer) ㅇ ㅇ ㅇ ㅇ } hidden layer (인풋과 아웃풋을 제외한 레이어는 숨겨져 있다.) ㅇ ㅇ ㅇ } ㅇ - 마지막 하나 (= Output Layer) 레이어가 깊게 구성되어 딥Deep러닝 순서 1. 데이터 2. 모델 구성 3. 컴파일, 훈련 4. 평가, 예측
설치 0. 그래픽 드라이버 설치 - nvidia만 가능. 현재 rtx2080 8g. gpu를 돌리면 시험시간 5시간 안에 충분히 가능하다. 1. 아나콘다 설치 - pip로 자동 설치. python 3.8.3 2. 파이참 설치 3. Cuda 10.1 다운로드 - GPU에서 병렬처리를 해주는 프로세서 - 설치 시 사용자 정의로 visual studio integration 체크 해제(나중에 오류의 원인이 될 수 있음) - CPU의 i7 10세대: 10코어 20스레드. 머리가 10개, 머리를 한 번에 작업할 수 있는 손이 20개. 작업을 한 번에 20개씩 할 수 있어 빠르다. - GPU의 Cuda 프로세스: 만개의 손. 그래서 GPU가 훨씬 빠르다. CPU는 아인슈타인의 뇌. 고성능의 높은 연산을 필요로 할 때 사..