# csv

ddeokgu

프로젝트 진행 중 엑셀 파일에 정리된 내용을 데이터로 입력해야하는 일이 생겼다. 하나하나 언제 넣나 생각했지만 역시나 방법은 있었다. 일단 본인의 엑셀 파일이다. FILENAME, REGNO이 있고 그 밑에 데이터가 존재한다. 만약 이 데이터를 tmp라는 데이터 테이블에 컬럼 값으로 자동으로 입력하려면 일단 엑셀 파일을 csv 파일로 export 해야한다. 엑셀에서 저장할 때 파일 형식을 csv로 변경하면 된다. 이제 데이터를 넣어보자. 먼저 HeidiSQL에서 tmp라는 테이블을 생성했다. tmp테이블은 FILENAME 과 REGNO 컬럼을 갖고있다. (참고로 DB는 MYSQL이다.) ![](https://velog.velcdn.com/images/dde

goyoon5526

df.tocsv('learningtarget.txt', index=False, header=False, encoding='utf-8', doublequote=False,escapechar='"',quoting=csv.QUOTE_NONE) 를 했는데 해당 오류가 뜨면서 파일 저장이 안 돼 quoting 파라미터를 csv.QUOTENONE 대신 csv.QUOTEMINIMAL로 변경해보세요. csv.QUOTENONE은 모든 필드가 따옴표로 묶이지 않도록 하는 옵션인데, 이로 인해 빈 필드를 처리하는데 문제가 발생할 수 있습니다. 대부분의 경우 csv.QUOTEMINIMAL이나 기본값인 csv.QUOTE_NONNUMERIC 옵션을 사용하는 것이 더 안전합니다. doublequote=False와 escapechar='"' 옵션은 기본적으로 to_csv에서 사용되지 않습니다. 이러한 추가 옵션을 사용하지 않고도 CSV 파일을 잘 저장할 수 있

sungmyeonggi

Reference 기본기를 쌓는 정아마추어 코딩블로그

kiache12

임의의 코랩 노트 오픈. 상단 라인 작성. 위와 같은 창이 뜨면 'Google Drive에 연결' 클릭. -> 이후 액세스 확인. 좌측 사이드에 해당 아이콘 클릭 후 데이터를 찾아 원하는 csv 파일 경로 복사. (구글 드라이브에 파일은 올렸는 데 찾기 힘든 경우, 본인 구글 드라이브 위치는content/drive/MyDrive 이

tjwjdgus83

XML 태그를 사용하며 확장 가능한 마크업 언어 정확한 문법을 지켜야 동작 구조적이며 큰 용량이 필요 SAXParser 문서를 읽으면서 태그의 시작,종료 등 이벤트 기반으로 처리하는 방식 DOMParser 문서를 다 읽고 난 후 문서 구조 전체를 자료구조에 저장하여 탐색하는 방식 >## JSON Javascript Object Notation(자바스크립트 객체 표현법)으로 간결한 문법,단순한 텍스트,적은 용량으로 대부분의 언어,플랫폼에서 사용가능한 데이터 교환 형식 json의 mapper표현법 코드

dong_kyu-lee

게임을 개발하면서 게임에 필요한 크고 작은 데이터들을 관리해야 한다. 예를 들어, 다이얼로그 시스템이나 여러 게임 캐릭터들의 스텟 정보 등을 텍스트로 관리하여 쉽게 유지, 보수를 할 수 있다. 나의 경우, CSV 파일을 활용하여 게임에서 몬스터 자동 스폰(몬스터 웨이브) 데이터를 관리해 보았다. CSV란, CSV(comma-separated values)로, 표를 쉼표로 구분한 텍스트 데이터이다. 구글 스프레드시트를 활용해 아래와 같이 CSV 파일을 쉽게 생성할 수 있다. **파일 -> 다운로드 -> 쉼표로

yellowbutter0327

CSV파일 형식 CSV(comma-separated values)는 몇 가지 필드를 쉼표(,)로 구분한 텍스트 데이터 및 텍스트 파일이다. 확장자는 .csv이며 MIME 형식은 text/csv이다. 오래전부터 스프레드시트나 데이터베이스 소프트웨어에서 많이 쓰였으나 세부적인 구현은 소프트웨어에 따라 다르다. 비슷한 포맷으로는 탭으로 구분하는 TSV나, 반각 스페이스로 구분하는 SSV등이 있으며, 이것들을 합쳐서 CSV라고 부르는 경우가 많다. 한 줄이 한 개의 행에 해당하며, 열 사이에는 쉼표(,)를 넣어 구분한다. 예를 들어 학생목록에 아래와 같은 데이터가 있다고 하자. > 위의 데이터를 CSV 형식으로 저장하면 아래와 같은 형태가 된다. > 장원영,2004년,7월,17일,100점,90점,70점,"토끼를 닮음", ""하이"" 김제니,1995년,4월,3일,90점,100점,100점,"고양이를 닮음",""호호"" 문장과 문자열은 " "로

milkim0818

csv파일 캐글에서 제공하는 이커머스 고객 행동 데이터셋 2019-Oct : 5.67G 2019-Nov : 9G 캐글 ecommerce-behavior-data-from-multi-category-store 데이터셋 예시 2019-Oct : 42,448,764 (약 4천2백만 행) 2019-Nov : 67,501,979 (약

ansunny1170

시작하는 말 특정 데이터를 csv 형식으로 다운로드 할 수 있는 api를 개발하는 과정에 한글이 깨지는 현상을 고치는 내용입니다. 간단하게 utf-8을 추가해주면 될 것으로 생각했으나... 예상치 못한 방법으로 해결을 했습니다. 참고한 사이트 CSV 파일 만들 때 엑셀에서 한글 깨짐 현상 해결하기 - 제로초 https://smorning.tistory.com/269 https://velog.io/@kim_sunnnny/what-is-applicationoctet-stream 해결한 방법 예상대로라면 아래 한 라인으로 해결 될 것으로 생각했습니다. 하지만 csv에서만큼은 여전히 한글 깨짐현상이 있었습니다. csv string 앞에 \ufeff of \uFEFF 등을 붙이기도 했지만 여젼했습니다. 답답한 마음에 이미지 파일 다운로드에

riverforward

CSV란? > CSV(Computer System Validation) : 컴퓨터화 된 시스템이 미리 정의된 규격에 따라서 일관되게 운영된다는 것을 높은 수준으로 증명하여 문서화된 증거를 확립하는 과정이다 개발자로써 몇차례 CSV를 겪어보면서 느낀 소회를 좀 적어볼까 합니다. 그래도 나름 큰 규모의 시스템을 직접 개발하면서 동시에 CSV를 같이 참여하게 되면서 피부로 느낀 경험들을 담아보고자 합니다. CSV는 전반적인 과정을 GAMP 5 절차를 따릅니다. 약간의 개정은 지속적으로 있지만 전체적인 절차는 아래와 같습니다. 해당 절차에서 주목할 부분은 각 절차가 선형을 띄고 있다는 것인데요. 동시에 진행되는것이 아닌 Waterful한 구조를 가지고 있습니다. 우선 해당 GAMP 5의 절

toltori9

Python에서 csv 파일 읽는 방법을 자꾸 까먹어서 정리해보려고 한다! 기본 csv 라이브러리를 이용해 읽기 이 작업에서는 csvreader에 담긴 한줄씩의 정보를 for문으로 접근한다 그 한 줄씩 print해주는 작업 next() 이용하기 한 줄씩 읽는 작업이지만, 다음 주로 넘어가고 싶다면 next()를 쓰면 된다 하면 csv 파일의 헤더를 제외한 부분을 print 하는 작업이 되는 것 라고 한다면 홀수 줄의 정보만 print할 수 있겠지요 list에 관리하기 csv 파일의 정보를 한 줄씩 묶어 담는 list를 만드는 경우가 많아, 보통은 이렇게 작업하고 있다. 하지만 이렇게 작업하다보니 몇 번째 요소가 어떤 역할을 하고 있는지 기억해줘야 한다는 단점이 있음 DictReader를 이용하면 csv 파일을 딕셔너리로 저장할 수 있다고 한다. 파일 헤더와 함께 DictReader로 읽어 Python Dictionar

tett_77

에러 PermissionError: [Errno 13] Permission denied: '.csv' 원인 csv 파일이 열려 있는데 pandas 실행했을 때 발생 해결 csv 파일을 닫고 실행

moon_happy

이전에 작성했던 게시물에서는 data라는 폴더에 csv파일로 저장만 했다면 이제 저장된 csv파일을 Airflow에 connection한 MySQL에 적재를 해보겠습니다. 처음 mysql에 적재를 하기 위해서 로컬에 있는 mysql을 쓰려고 하다보니 간단하게 생각해 HOST에 localhost를 쓰면 될것이라고 생각을 했습니다. 하지만 그렇게 간단했다면 인생이 정말 재미가 없었을듯 합니다. 제가 부족하고 아직 많이 몰라서 이런일이 발생했는지는 모르겠습니다. 🖇️ Airflow에 MySQL connection하기 쉽게 과정을 설명하자면 airflow의 웹UI에서 Admin - connections에서 mysql을 추가하면 됩니다. 🖇️ 1. 자신이 쓰고있는 IP를 알아보기 ![

gykim

csv 파일 파싱 콤마로 구분된 csv 파일을 읽어 파싱할 때 아래와 같은 문제가 있다. test, 1, "1,1", 2, 3 => ['test', 1, '"1', ',1"', 2, 3] 쌍따옴표로 묶인 데이터는 하나의 컬럼으로 취급되어야 하는데 단순히 콤마로 split(’,’) 하면 위처럼 파싱된다. 이 패키지의 https://github.com/iuccio/CSVtoJSON#readme split 함수를 참고하여 쌍따옴표에 대한 처리를 하도록 처리했다. 처리 이후 같은 데이터에 대한 파싱 결과는 아래와 같다. test, 1, "1,1", 2, 3 => ['test', 1, "1,1", 2, 3] 다른 패키지 참고 https://www.npmjs.com/package/csv-parse (csv 파싱) https://www.npmjs.com/package/xlsx (xlsx 파싱)

sinbee0402

Dart가 지원하는 여러 데이터 형식들 Dart에서는 다양한 데이터 형식을 처리할 수 있는 라이브러리와 패키지가 존재합니다. 다음은 그 라이브러리에서 사용하는 데이터 형식을 설명하겠습니다. CSV (Comma Separated Values) CSV는 ,(쉼표)로 구분된 텍스트 기반 데이터 형식입니다. 각 줄은 하나의 레코드를 나타내며, 각 레코드는 쉼표로 구분된 필드로 이루어집니다. Dart에서 CSV를 다루기 위해 csv 패키지를 사용할 수 있습니다. 이 패키지를 사용하면 CSV 파일을 읽고 쓰는 기능을 제공합니다. Properties Properties는 파일에 설정 정보를 저장하기 위해 사용되는 텍스트 파일의 형식입니다

beberiche

집어넣는 데이터는 맥북 m1 환경에서, 받는 곳은 우분투 서버 mysql 8.0.22 버전을 도커 컨테이너로 실행하는 환경입니다. import 시에는 workbench의 import 마법사를 사용하였습니다. 초보 개발자이기에 간혹 올바르지 못한 부분이 있을 수 있습니다. 왜 이러한 작업이 진행되게 되었는가? 빅데이터 프로젝트를 진행한 적이 있다. 당시, 축제 관련 데이터 및 맛집, 숙소, 문화시설 등에 대한 데이터를 모두 사용하고 있는 db에 옮기는 작업을 진행해야 하는데, 이를 재배포하려니 데이터가 없다! 0. 사전 준비 상황 다행히 이전에 윈도우에서 셀레니움을 통해 필요한 데이터를 excel 파일로 확보해둔 상황이다. 단 API를 통해 확보한 원본데이터이며, db에 호환되도록 어느정도 변화작업이 필요했다. 1. csv를 통한 시도 검색 시 가장 많이 사용하는 방법이라길래 시도해보았다. 결과부터 말하자면 내가 가진 m1 환경에서는 불가능했다. 운영체제별

coral2cola

CSV 파일 Export 하기 MongoDB의 데이터를 CSV 형식으로 export 해보자. 코드는 아래와 같다. 중요한 것은 CSV 파일로 export 하는 경우 field를 반드시 지정해주어야 한다는 것이다. 이 필드 지정을 통해 원하는 field만 선택적으로 추출할 수 있다. 그리고 쿼리를 쓸 때 "을 그냥 쓰면 안되고, 반드시 \" 형태를 사용해야 한다. 안그러면 에러남.... Embedded Document의 경우 간혹 Document를 CSV 로 export 하려고 하는데, Embedded document인 경우가 있다. 하지만 CSV는 중첩된 형식을 지원하지 않는다... A라는 필드 안에 a, b, c라는 필드가 있다고 가정하자. 이 경우 a, b, c를 export하고 싶은 경우, field를 A.a, A.b, A.c로 지정한다. 몇 번 중첩되든 상관 없는 것 같다. 위의 코드의 경우로 생각해보

rkawksha

Javascript 431P / 448P ~ 449P 중요 (서버에서 자료 가져오기) / Ajax 450P AJAX란, JavaScript의 라이브러리중 하나이며 Asynchronous Javascript And Xml(비동기식 자바스크립트와 xml)의 약자. 브라우저가 가지고있는 XMLHttpRequest 객체를 이용해서 전체 페이지를 새로 고치지 않고도 페이지의 일부만을 위한 데이터를 로드하는 기법 이며 JavaScript를 사용한 비동기 통신, 클라이언트와 서버간에 XML 데이터를 주고받는 기술이다. 즉, 쉽게 말하자면 자바스크립트를 통해서 서버에 데이터를 요청하는 것이다. 서버에서 필요한 자료를 요청해서 처리를 해줄 수 있다. XMLhttprequest 객체

coral2cola

CSV 파일 Import하기 > 🌠MongoDB 버전 : 6.0.5 참고로 기존의 mongoDB 6.0은 이전 버전과는 많이 달라서 mongosh라고 쉘도 따로 설치해서 써야하고 이래저래 이전과는 다른게 많다 😒 mongoDB에 Powershell로 CSV 파일을 import하고자 한다. 스크립트 작성해서 한번에 import를 수행하고 싶었다. 코드는 아래와 같다. 여기서 mongoimport 사용하려면 MongoDB database tools를 별도로 설치해야한다 (아래 참조). 그리고 import할 파일이 있는 경로에서 해당 명령어 수행해야함.. 그러기 싫으면 파일 이름에 파일의 절대 경로를 넣어주면 됨 😎 MongoDB Database Tools 설치하기 MongoDB 6.0에서는 지원하지 않는 명령어가 상당히 많아서.... mongoimport, mongoexport 같은거 쓰려면 database tools를 별도 설치해야 한다.

gamja-kawaii

😐🙄🍤🍧🍓🔥💧💧💛💛💛 💛 텍스트 한줄씩 읽기 텍스트를 사용해 데이터를 구조적으로 표현할 수 있는 방법으로 CSV,XML,JSON등이 있습니당! : CSV는 쉼표로 구분된 값(Comma Separated Values)을 의미합니다. 이는 표 형식으로 데이터를 저장하기 위한 파일 형식입니다. CSV 파일에서 각 줄은 하나의 레코드를 나타내며, 쉼표로 구분된 각 열은 해당 레코드의 속성을 나타냅니다. 예를 들어, 이름, 성별, 나이와 같은 정보를 각 열에 저장하여 CSV 파일에 저장할 수 있습니다. 첫 번째 줄에 header를 넣어 각 데이터가 무엇을 나타내는지 설명해 줄 수 있습니다! 🔥 최근 기계 학습등에는 이러한 형태로 수십만 명의 데이터를 저장하고