# Data Engineer

44개의 포스트

Databricks 시작하기

입사할 당시 Back-end로 들어왔지만, CTO께서 제가 데이터 엔지니어에도 관심이 많다는 것을 알고, Data Processing팀으로 옮기게 되었고, DP에서 하는 기본적인 업무 외에 DP업무 확장 개념으로 databricks를 활용해 data lake를 구축을

2022년 5월 10일
·
0개의 댓글

7-3. Combining tools

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 7코스-3) Combining tools를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다!cat 사용

2022년 3월 30일
·
0개의 댓글

8-3. Database Operations on the Command Line

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-3) Database Operations on the Command Line 를 수강하고 그에 관련 내용을 적어보았다.csvkit 라이브러리가 제공해야 하는 모든 것에 대해 더 깊이 알아봅시다. 특히 테이블

2022년 3월 24일
·
0개의 댓글

8-2. Data Cleaning and Munging on the Command Line

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-2) Data Cleaning and Munging on the Command Line 를 수강하고 그에 관련 내용을 적어보았다.command Line csvkit를 사용하여 추가 분석을 위한 데이터 준비하기

2022년 3월 23일
·
0개의 댓글

7-2. Manipulating data

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 7코스-2) Manipulating data를 수강하고 그에 관련 내용을 적어보았다. 🌱 출처 : Datacamp data enigneering track 모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다!

2022년 3월 22일
·
0개의 댓글

8-1. Downloading Data on the Command Line

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-1) Downloading Data on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. command Line을 통해 웹서버에서 데이터 파일을 다운로드하는 방법 >🌱 출처 :

2022년 3월 22일
·
0개의 댓글

[Elasticsearch] 자주 사용하는 명령어

일반적인 상황에서는 empty list 반환pending 되어 있는 작업이 있는 경우 그 리스트 반환GC가 비정상적이거나 CPU가 높거나 검색이 밀리는 등 대부분의 문제의 원인을 유추할 수 있음\[Task Management API | Elasticsearch Refe

2022년 3월 21일
·
0개의 댓글

[Logstash] Elasticsearch 와 RDBMS 연동

Kibana - Stack Management - Logstash Pipelineshttps://s3-us-west-2.amazonaws.com/secure.notion-static.com/b598fa56-2d09-4b65-b08c-14b77f3921a0/Un

2022년 3월 21일
·
0개의 댓글

[Elasticsearch] Node Start and Stop

[Elasticsearch] Node Start and Stop Elasticsearch Node를 재시작 할 때 아래와 같은 방법으로 작업을 진행하여야 샤드들이 재배치 되지 않고 빠르게 재시작 할 수 있음 Shard Allocation Stop 노드를 중단했을

2022년 3월 21일
·
0개의 댓글

7-1. Manipulating files and directories

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 7코스-1) Manipulating files and directories 를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분

2022년 3월 15일
·
0개의 댓글

6-4. More on Decorators

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 6코스: More on Decorators 를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다!More

2022년 3월 13일
·
0개의 댓글

6-3. Decorators

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 6코스: Decorators 를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다!Decorators.

2022년 3월 11일
·
0개의 댓글

6-2. Context Managers

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 6코스: Context Managers를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다!파이썬에서 w

2022년 3월 10일
·
0개의 댓글

6-1. Best Practices

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 6코스: Best Practices를 수강하고 그에 관련 내용을 적어보았다. 이번 내용은 함수를 작성할 때의 모범 사례, 독스트링이 중요한 이유와 코드 덩어리를 함수로 변활해야 할 때는 아는 방법, Python이

2022년 3월 10일
·
0개의 댓글

5-2. Timing and profiling code

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 5코스: Timing and profiling code를 수강하고 그에 관련 내용을 적어보았다. >🌱 출처 : Datacamp data enigneering track 모르는 부분이나 헷갈렸던 부분은 계속 추가될

2022년 3월 7일
·
0개의 댓글

5-1. Foundations for efficiencies

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 5코스: Writing Efficient Python Code 를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부분은 계속 추가

2022년 3월 5일
·
0개의 댓글

4-4. Importing JSON Data and Working with APIs

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 4코스: Importing JSON Data and Working with APIs를 수강하고 그에 관련 내용을 적어보았다. >🌱 출처 : Datacamp data enigneering track 모르는 부분이

2022년 3월 5일
·
0개의 댓글

4-3.Importing Data from Databases

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 4코스: Importing Data from Databases를 수강하고 그에 관련 내용을 적어보았다. >🌱 출처 : Datacamp data enigneering track 모르는 부분이나 헷갈렸던 부분은 계속

2022년 3월 4일
·
0개의 댓글

4-2. Importing Data From Excel Files

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 4코스: Streamlined Data Ingestion with pandas를 수강하고 그에 관련 내용을 적어보았다. >🌱 출처 : Datacamp data enigneering track 모르는 부분이나 헷갈

2022년 3월 3일
·
0개의 댓글

4-1. Importing Data from Flat Files

가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 4코스: Streamlined Data Ingestion with pandas를 수강하고 그에 관련 내용을 적어보았다.🌱 출처 : Datacamp data enigneering track모르는 부분이나 헷갈렸던 부

2022년 3월 2일
·
0개의 댓글