mkdir /var/log/keepalivedvi /etc/sysconfig/keepalivedKEEPALIVED_OPTIONS="-D --log-file=/var/log/keepalived/keepalived.log --flush-log-file -G"systemct

클라이언트 서버(윈도우)에 MIT Kerberos Ticket Manager 설치,.KDC 서버로부터 티켓 발급. DBeaver에서 Hive 접속MIT Kerberos Wizard를 통해 MIT Kerberos Ticket Manager를 설치. C:\\Program

2023-02-28T19:36:04,684 INFO aff416f0-8cb9-4382-8dc1-fa123e9d6418 HiveServer2-Handler-Pool: Thread-99: metastore.RetryingMetaStoreClient (:()) - Retr

hadoop datanode 3대에서 decomission 시 아래와 같은 warning 발생.기존 복제 개수인 3을 충족하지 못하기 때문.2022-12-16 19:43:57,601 WARN blockmanagement.BlockPlacementPolicy (Bloc

insert overwrite local directory '/tmp/hive/hive/.staging' row format delimited fields terminated by ',' select \* from 'table'ERROR : Status: FailedE

hadoop Configuration for HDFS NameNode \[hdfs_clusters]Cannot access: /user/admin.403 Client Error: Forbidden for url: http://httpfs서버:14000/we

File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 102, in checked_call tries=tries, try_sleep=try_sleep, timeout_kill_stra

getLiveDatanodeStorageReport RPC 호출.각 데이터노드의 정보 획득. 스토리지 용량, dfs 사용 공간, 남은 공간 등.사용률이 높거나 평균 이상인 스토리지를 소스로, 사용률이 낮거나 평균 이하인 스토리지를 대상 스토리지로 선택.해당되는 소스 및

HDFS 파일에 데이터를 쓸때..1\. 클라이언트 로컬 캐시에 데이터 기록. 캐시 사이즈가 HDFS 블록 사이즈에 도달하면 네임노드에서 데이터노드 목록 요청 / 검색2\. 클라이언트는 데이터노드에서 데이터노드로 연결되는 파이프라인 구성. 첫번째 데이터 블록을 첫번째 데

정리.Linux 환경에서 Anaconda 설치Anaconda 설치Anaconda - python 3.8.5 설치 진행.스크립트 설치 / 실행외부 통신 가능한 경우..페쇄망인 경우 설치파일 별도 반입 필요.yes 입력 후 홈 디렉토리 지정..bashrc 파일에 환경변수

호스트 네임 변경 및 /etc/hosts 수정, 타 서버에 전송모든 서버의 ambari agent 중지,json파일 생성 ( ambari-server 서버에서) {"클러스터네임":{"원래1번호스트네임":"변경할1번호스트네임","원래2번호스트네임":"변경할2번호스트네임"

Total Blocks:17597420, Missing Blocks:17597417에러로그위와 같은 상태였는데, ipc.maximum.data.length, ipc.maximum.response.length 둘다 256mb로 늘리고 재기동하니 missing block

DailyRollingFileAppender 설정이 먹지 않는다.결론만 먼저 쓰면, RollingFileAppender로 설정하니 됐다.Ambari – HDFS – hdfs-log4j 옵션에 아래 설정 적용hdfs.audit.logger=INFO,consolelog4j

프로세스는 전체 기동중이지만1\. impala-shell 접속 x, 2\. beeline 접속 x3\. Dbeaver를 통한 impala 접속 xUnable to connect to hostname:26000카탈로그 데몬과도 통신을 못하는 상황.TTransportExc

에러내용: could not connect to any of {192.168.56.101, 21050}}특정한 impala daemon ip가 아닌,vip나 haproxy를 이용하여 impala deamon에 대해 로드밸런싱이 가능하지만, job이 다수의 호스트를 향

Could not create files in any configured scratch directories (--scratch_dirs=) on backend hostname:22000, 0 of scratch is currently in use by this Imp

Ambari Kerberos 적용 후 Chrome / IE 브라우저에선 Oozie, Infra-solr Web 접근이 되지 않음.아래와 같은 순서를 통해 FireFox 브라우저로 접속이 가능.클라이언트 서버(윈도우)에 MIT Kerberos Ticket Manager

ping과 다르게 컴퓨터와 컴퓨터 사이를 이어주는 명령어다.전에 자주 사용되었지만 보안 이슈로 인해 ssh로 대체되었다고한다.endpoint health check에 쓰인다.위와 같이 아무것도 안뜨면 포트가 열려있는것.포트가 막혀있다면 위와 같이 응답.ping(L3 명

프로젝트 중, 네트워크가 bonding되어있는 상태. 잘 모르는 부분이라 이해가 필요. bonding, ethernet, NIC 등등 일단 bonding 정보는 아래 명령어로 확인할 수 있다. cat /proc/net/bonding/bond0 Ethernet Ch

써보지 않은 명령어라 정리 필요. nslookup 네트워크 디버깅을 위해 자주 사용되는 리눅스 명령어로, DNS 서버에 직접 DNS 쿼리를 하고 그 결과를 출력해줌. 이를 통해 DNS 설정이 정상적인지, 혹은 DNS 서버가 정상적으로 동작하고 있는지, 네트워크가