본문 바로가기
728x90

개발공부 개발새발131

Hadoop ) 로컬에 hadoop 3.2.2 설치하기 로컬에 하둡을 깔 것이다.hadoop 3.2.2 버전을 깔 것이다.회사에서 쓰는 버전이다. 집에서 깔고 공부할꾸다..ㅜ 일단 Java 11 버전으로 설치한다.지금 생각났는데 회사에선 8버전을 사용하는데 왜 생각없이 11버전으로 깔았을까 싶은데이건 나중에 수정해야지.. 하여튼 Java 11 버전을 셋팅한다.나는 17/21버전만 깔려있는데 11버전을 다운받아준다. https://www.azul.com/downloads/?package=jdk#zulu Azul DownloadsNo matter the size of your company, Azul offers competitive pricing options to fit your needs, your budget, and your ambition.www.a.. 2025. 6. 25.
Hadoop ) Iceberg hive catalog RDB 와 Hadoop 의 차이Rdb는 공유 스토리지를 사용하기 때문에 데이터 저장량이 늘어나고 공유스토리지 연산 컴퓨팅 리소스가 늘어나면 일정 수준 이상으로 성능을 올리면 i/o가 문제가 생기는데 하둡은 그렇지 않은 이유공유 스토리지 : 서버가 데이터를 찾기 위해 디비 서버에 직접 접근하는 것 → 중앙 저장소, 모든 I/O 요청이 공유 스토리지로 집중되는 구조공유 스토리지는 데이터를 한 곳에 저장하니 트랜잭션 관리가 쉽다.하지만 요청이 한 서버로 몰리기 때문에 Disk I/O 가 병목될 수 있으며 고가용성을 위해 스토리지 레벨 또는 로그로 복제한다.하둡은 분산 로컬 스토리지하둡의 저장 구조는 HDFS (Hadoop Distributed File System) 구성 요소설명NameNode메타데이터 관리 .. 2025. 6. 22.
kubernetes ) ReplicaSet Service Deployment 복제 컨트롤러파드의 앱이 다운됐을 때를 대비해서 파드를 복제하거나, 또는 하나의 파드가 내려갔을 경우 그 파드를 대체하기 위해 파드를 복제한다.사용자가 늘어날 경우를 대비해 로드밸런싱과 스케일링도 가능.복제 컨트롤러와 복제본 세트복제 컨트롤러 Replication controller옛날 기술, 복제본 세트로 대체되고 있음복제본 세트 Replica Set복제를 사용하는 권장 방법.레플리카 셋에 관리할 파드에 대한 정보를 직접 작성해도 되지만 이미 실행 중인 파드의 라벨을 맞춰서 관리도 가능하다.복제 컨트롤러apiVersion: v1kind: ReplicationControllermetadata: name: myapp-rc labels: app: myapp type: front-endspec:.. 2025. 6. 6.
kubernetes ) 구성 목적워커 노드 → 쿠버네티스를 loading 할 수 있는 배마스터 노드 → 적재, 적재를 계획, 선박 식별, 정보를 저장하고 위치는 감시 등등…컨테이너 관리, 모니터링마스터 노드 ETCD : 클러스터의 핵심 데이터 저장소key, value 로 클러스터의 상태 정보를 저장하는 데이터베이스.노드 정보, 파드 상태, 네임스페이스, 서비스, 엔드포인트 … 등등kube-scheduler : 파드를 클러스터 내의 적절한 노드에 할당해주는 kubernetes 의 기본 스케쥴러pending 상태인 파드를 보고 어떤 노드가 이 파드를 실행할 수 있을지 결정하는 머리 역할Node controller , Replication Controller : 상태 불일치를 감지하고 자동 조정하는 “컨트롤 루프” 방식으로 동작Node .. 2025. 5. 26.
OS ) 파일 시스템 File System 파일 시스템파일 개념저장장치의 물리적 특성을 추상화한 논리적 저장 단위, 보조저장장치에 기록된 정보의 집합.자료가 파일 안에 존재해야만 보조저장장치에 기록될 수 있음.프로그램자료UNIX, Linux 및 기타 운영체제는 시스템 정보(프로세스 세부 사항)에 대한 엑세스를 제공하기 위해 파일 시스템 인터페이스를 사용한다(proc)파일 유형텍스트 파일행과 페이지로 구성되는 연속된 문자.소스 파일선언과 실행문으로 구성된 함수들의 연속.실행 파일로더가 메모리로 가져와 실행시킬 수 있는 연속된 코드 부분.파일 속성사용자 편의를 위해 파일에 이름을 부여하고 그 이름으로 파일을 참조한다. 파일이 일단 만들어지면, 그 파일을 생성한 프로세스, 사용자, 시스템으로부터 독립하며 개별적으로 변경될 수 있다.이름식별자 (우리가 .. 2025. 4. 8.
OS ) 메인 메모리 - 2편 : 페이징, 34/64비트, ARM 페이징프로세스의 물리 주소 공간이 연속되지 않아도 되는 메모리 관리 기법!페이징 기본 방법물리 메모리 → 같은 크기 블록인 프레임(Fram)논리 메모리 → 같은 크기 블록인 페이지(Page)→ 논리 주소와 물리 주소가 완전히 분리되어, 물리 메모리 크기보다 더 큰 논리 주소 공간을 사용할 수 있다?!!물리 주소CPU로 부터 나오는 모든 페이지 주소는 페이지 번호, 페이지 오프셋이다.페이지 번호(p)물리 메모리 각 프레임의 시작 주소.물리 메모리에서 “몇 번째 페이지에 해당하는가?”예) 메모리의 2번째 페이지 → 페이지 번호 = 2페이지 오프셋(d: offset)참조되는 프레임 안에서의 위치.해당 페이지 안에서의 정확한 데이터 위치.예) 페이지 크기가 4KB(2^12 바이트) 라면, 오프셋 범위는 0부터 .. 2025. 2. 15.
728x90

티스토리툴바