# df
리눅스 시스템 모니터링
리눅스 명령어를 이용한 시스템 모니터링 : 시스템 성능 측정을 위한 항목에는 cpu, memory, disk, traffic uname : 시스템과 커널의 정보 시스템과 커널의 정보를 확인 -a옵션을 사용하면 모든 정보 확인 top : 운영체제 작업 내역 모니터링 작업관리자와 비슷한 기능 프로세스 작업 명령어로, 시스템 프로세스들의 cpu/memory 점유율을 실시간으로 볼 수 있다. 현재 몇 개의 프로세스가 있는지, cpu 사용률, memory와 swap얼마나 사용하고 있는지 확인 
[NLP] DTM과 TF-IDF
자연어 처리에서, 단어의 표현 방법은 크게 Local Representation과 Distributed Representation으로 구분된다. local representation은 해당 단어 그 자체만을 확인하고 특정 값을 mapping하여 단어를 표현하는 방법이며, distributed representation은 어떤 단어 주위의 단어 분포를 고려하여 단어를 표현하는 방법이다. 단어의 표현 방법은 다음 그림에서 나타나는 것과 같이 구분할 수 있다. Word Representation 본 포스트에서는 local representaiton 중 카운트 기반의 단어 표현법들을 정리하고, 이를 이용한 가중치인 TF-IDF에 대해 알아본다. Bag of Words (BoW) BoW는 단어들의 순서를 고려하

[프로그래머스 JavaScript] 숫자 변환하기
문제 링크 문제 설명 자연수 x를 y로 변환하려고 합니다. 사용할 수 있는 연산은 다음과 같습니다. x에 n을 더합니다 x에 2를 곱합니다. x에 3을 곱합니다. 자연수 x, y, n이 매개변수로 주어질 때, x를 y로 변환하기 위해 필요한 최소 연산 횟수를 return하도록 solution 함수를 완성해주세요. 이때 x를 y로 만들 수 없다면 -1을 return 해주세요. 제한사항 1 ≤ x ≤ y ≤ 1,000,000 1 ≤ n < y 
Linux Server 용량 확인 및 정리 요령
[STEP-0] 전체적인 디스크 사용률 확인 > df -h 서버 디렉토리 별 전반적인 디스크 사용률(Use%)을 나타냅니다. [STEP-1] 세부적인 용량 확인 > du -sh * 지정한 경로의 디렉토리별 용량을 확인합니다. *은 현 경로있는 모든 디렉토리를 탐색 대상으로 두겠다는 의미입니다. 사용률이 높은 디렉토리 내용 확인 후 삭제 해도 무방한지 확인 후 삭제를 진행합니다. aws server의 경우 /usr/src 경로에 'linux-aws~' 또는 'linux-headers~'라는 이름으로 우분투의 커

[알고리즘]다이나믹 프로그래밍(DF)
다이나믹 프로그래밍(DF) 단어가 어려워보이지만, 쉽게 말해 연산결과를 재활용하는 것 다이나믹 프로그래밍(DF)는 우리말로 동적 계획법으로도 불리기도 한다. 이 알고리즘의 핵심은 '반복'과 '재활용'이다. 우리는 고등학생 시절 수열을 배운 경험이 있다. 대개 문제에서 수열의 n번째 항의 값을 구하라는 경우가 많다. 문제마다 다르지만, 조금 복잡한 문제들은 이전항의 값을 이용해서 다음항을 구해야하는 경우가 많다. 예를들어 n번째 항의 값은 n-1번째 항의 값을 이용해 알 수 있는 문제의 경우, 우리는 경험적으로 1번째 항부터 n-1번째 항까지 순차적으로 각 항의 값을 구한 뒤 기록하고 n번째 항의 값을 구한다. 그리고 만약 다시 k번째 항의 값(단, k는 n보다 큰 자연수)에 대한 문제가 있다면 우리는 다시 1번째 항부터 값을 구하는 것이 아니라 자연스럽게 이미 기록한 n번째 항까지의 값들을 재활용하여 k번째 항을 구할 것이다. DF는 바로 우리가 위와 같이 본능적으로

DASK #2 | array, df, Xarray
1. DASK arrays 1-1) NUMPY vs DASK Arrays numpy array와 사용 방법이 약간 차이나지만 비슷함 dask array는 chunk size를 확실하게 지정해 주어야 함 dask array를 compute하면 numpy array로 값 나옴 dask array method는 numpy의 method와 비슷하게 사용됨 x.max() , x.min() ,x.sum() ,x.mean() | DASK Chunking Array | |:--:| | DASK Chunking Array (source : DASK document) | | !

Pickle 이슈 정리
파이썬엔 모든 오브젝트를 그대로 저장할 수 있는 아주 편리한 pickle이라는 확장자를 이용할 수 있는 기능이 있다. 이 pickle을 저장하는건 아주 간단한데, 다음에 정리하도록 하고 데이터 프레임의 경우 df.topickle('.pkl')과 df.readpickle('.pkl')로 쉽게 일고 쓸 수 있다. 이렇게 데이터 프레임을 저장하고 읽어오던 도중 에러가 발생하였는데 살펴보도록 하자. AttributeError > AttributeError: Can't get attribute 'new_block' on 에러는 dfme = pd.readpickle(df_me)에서 발생했다. 이

Pandas DataFrame 이슈 해결
"None of [Index([..], dtype='object')] are in the [columns]" 에러 상황 : 전처리된 데이터 프레임을 결과 데이터 프레임에 저장하려고 할 때 resultdf[eqpid] = res[cols] 발생 원인 : 데이터 프레임의 열 이름에 공백이나 필요없는 문자가 들어가있기 때문입니다. 지금 에러를 살펴보면 \n 'OUTHUM' 처럼 \n 가 포함된 인덱스가 보입니다. 저는 인덱스를 다음과 같이 설정했습니다. 가독성을 위해 엔터로 인덱스를 줄을 바꾸었을 뿐이고, 심지어 그림에서처럼 DVC_DESC 다음에 엔터를 쳤지만 에러에서는 ISSEC 다음에 ` \n`이 들어갑니다.
[Python] Pandas - Dataframe 함수 모음
5 Amazing Pandas Features https://towardsdatascience.com/5-amazing-pandas-features-you-probably-dont-know-about-5533498aac88 Table Visualization https://pandas.pydata.org/pandas-docs/stable/user_guide/style.html#Hiding-Data Pandas - Styler https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.io.formats.style.Styler.html read_csv https://pbpython.com/pandas_dtypes.html <span style='background-color: #fff5