728x90 분류 전체보기399 선임이 생겼당.ㅋ.ㅋ 어려운 도메인도 조금씩 적응해가고 있고회사도 슬슬 적응해간다. 게다가!몇 달 전부터 선임이 생겼다!! 틀린 곳을 딱딱 집어주고 설명해주고앞으론 이렇게 하면 된다고 지적해주고ㅜㅜ선임 들어오고 회사 생활이 훨씬 편해졌다.일이 편한 건 아닌데 정신이 좀 편하다 해야할까? 점심 시간에 같이 산책도 하고 커피도 마시고회사 고민도 얘기하고 커리어 고민도 얘기하고 조언도 얻고선임이지만 동기(?) 같은 친근함이당.(물론 잘못했을땐 혼남..ㅎㅎ)넘 감사한 분이다..진짜루.. 그래서 넘 잘 가르쳐주셔서 감사하다고 했는데이건 주니어한테 당연히 해줘야하는 것들이니 감사해하지 않아도 된다고 하심.(참고로 우리 팀은 나 빼고 다 TJ 이다..) 근데 회사에서 자꾸 정직원 안 시켜주려고 함.첫 3개월 인턴 그 후 정직.. 2025. 8. 26. 홈서버 세팅하기 방화벽 세팅 홈서버용 미니pc를 샀따당근에서 15마넌에 샀다 일단 모니터를 빌려서 연결해서 우분투를 설치한 후 ssh 설정을 뚜씨따시하고고정ip를 설정한 후(와이파이라서..그리고 당분간은 사용할 때만 부팅할 예정)모니터를 반납하고 맥에서 접속했다 꺄~접속 성공! 사실 지금은 공유기 와이파이를 사용하고 있어서 내부IP 로만 접속하고 있지만 + 콘센트 남는 게 없어서 쓰고나면 끄니까 누군가 접속할 일은 잘 없지만.. 언젠가 DNS 연결도 할 거고.. 기본적인 방화벽 설정은 해준다. 방화벽 설정 로컬 접속은 전부 허용ssh 연결 허용, 패키지 업데이트 허용나머지 패킷은 전부 버린다 ssh 보호10분 동안 비밀번호가 5회 틀리면 한 시간 동안 접속을 차단한다는 뜻이다. 요루케 systemd 에서 잘 동작하도.. 2025. 8. 5. Spark ) RangePartitioner 을 이용해 데이터 스큐 문제 해결하기 요즘에 새로운 문서 템플릿(?) 포맷?을 배우고 있어서 간지나게 제목을 붙여 글써보겠다.사실 이 글만 이렇게 하고 담엔 일케 안 할듯;ㅎㅎ 0. 문제데이터 스큐 문제가 발생했다.데이터 스큐란 분산 처리 환경에서 데이터가 파티션에 불균형하게 분포되어 있는 현상이다.아주 불손한 문제라고 볼 수 있겠다. 0-1. 데이터 스큐 문제가 발생하면 왜 문제가 발생???Spark 는 파티션 단위로 Task 를 실행한다. 여기서부터 감이 오는가? 어떤 파티션에는 데이터가 1만 건인데 다른 파티션에는 1억 건이 적재되어 있다면;ㅎㅎ1만 건 짜리는 금방 끝나고 놀고 있음 (리소스 낭비)1억 건 짜리는 오래 걸려서 job 이 지연 됨 ㄷㄷ 한 마디로 병렬 처리 효율이 떨어진다. 그러니 우리는 이 건을 해결해야 한다. 1. 문.. 2025. 7. 23. Hadoop ) 로컬에 hadoop 3.2.2 설치하기 로컬에 하둡을 깔 것이다.hadoop 3.2.2 버전을 깔 것이다.회사에서 쓰는 버전이다. 집에서 깔고 공부할꾸다..ㅜ 일단 Java 11 버전으로 설치한다.지금 생각났는데 회사에선 8버전을 사용하는데 왜 생각없이 11버전으로 깔았을까 싶은데이건 나중에 수정해야지.. 하여튼 Java 11 버전을 셋팅한다.나는 17/21버전만 깔려있는데 11버전을 다운받아준다. https://www.azul.com/downloads/?package=jdk#zulu Azul DownloadsNo matter the size of your company, Azul offers competitive pricing options to fit your needs, your budget, and your ambition.www.a.. 2025. 6. 25. Hadoop ) Iceberg hive catalog RDB 와 Hadoop 의 차이Rdb는 공유 스토리지를 사용하기 때문에 데이터 저장량이 늘어나고 공유스토리지 연산 컴퓨팅 리소스가 늘어나면 일정 수준 이상으로 성능을 올리면 i/o가 문제가 생기는데 하둡은 그렇지 않은 이유공유 스토리지 : 서버가 데이터를 찾기 위해 디비 서버에 직접 접근하는 것 → 중앙 저장소, 모든 I/O 요청이 공유 스토리지로 집중되는 구조공유 스토리지는 데이터를 한 곳에 저장하니 트랜잭션 관리가 쉽다.하지만 요청이 한 서버로 몰리기 때문에 Disk I/O 가 병목될 수 있으며 고가용성을 위해 스토리지 레벨 또는 로그로 복제한다.하둡은 분산 로컬 스토리지하둡의 저장 구조는 HDFS (Hadoop Distributed File System) 구성 요소설명NameNode메타데이터 관리 .. 2025. 6. 22. kubernetes ) ReplicaSet Service Deployment 복제 컨트롤러파드의 앱이 다운됐을 때를 대비해서 파드를 복제하거나, 또는 하나의 파드가 내려갔을 경우 그 파드를 대체하기 위해 파드를 복제한다.사용자가 늘어날 경우를 대비해 로드밸런싱과 스케일링도 가능.복제 컨트롤러와 복제본 세트복제 컨트롤러 Replication controller옛날 기술, 복제본 세트로 대체되고 있음복제본 세트 Replica Set복제를 사용하는 권장 방법.레플리카 셋에 관리할 파드에 대한 정보를 직접 작성해도 되지만 이미 실행 중인 파드의 라벨을 맞춰서 관리도 가능하다.복제 컨트롤러apiVersion: v1kind: ReplicationControllermetadata: name: myapp-rc labels: app: myapp type: front-endspec:.. 2025. 6. 6. 이전 1 2 3 4 ··· 67 다음 728x90
