전체 글 (93) 썸네일형 리스트형 pyarrow, parquet 파케이 파켓 대용량 파일을 읽을 수 있는 라이브러리 메모리 내 분석을 위한 개발 플랫폼 빅데이터를 빠르게 처리할 수 있다. $pip install pyarrow csv를 pandas보다 빠르게 읽어 온다. from pyarray import csv df = csv.read_csv("file.csv").to_pandas() parquet 파일을 생성하고 읽을 수 있다. df.to_parquet('df.parquet', engine='pyarrow', compression='snappy') 데이터프레임을 df.parquet파일로 만들어준다. parquet(칼럼 기반 저장 포맷) 칼럼단위로 구성하면 데이터가 균일하므로 압축률이 높다. 필요한 컬럼만 읽으므로 디스크 IO가 적다. 컬럼별로 적합한 인코딩을 사용할 수 있다. .. [VS Code] Prettier 플러그인 적용 안 될 때 설정(cmd + , )에서 'Default Formatter'를 검색 None을 Prettier - Code formatter로 변경 깃 브랜치 Git Branch Creating branch git branch testing #새로운 브랜치 만들기 git checkout -b testing #새로운 브랜치 만들고 그 브랜치로 이동 git switch -C testing #새로운 브랜치 만들고 그 브랜치로 이동 git checkout testing #해당 이름 브랜치로 이동 git switch testing #해당 이름 브랜치로 이동 Managing Branch git branch #local의 모든 브랜치의 간단한 리스트 보기 git branch -r #remote 브랜치 보기 git branch --all #local과 remote 브랜치 모두 보기 git branch -v #각 브랜치들의 최근 커밋 보기 git branch --merged #현재 브랜치에 me.. 이전 1 ··· 5 6 7 8 9 10 11 ··· 31 다음
