기술부채
-
[Kafka 운영] 컨슈머 그룹 정보는 언제 사라질까?개발자 라이프/카프카 2021. 3. 29. 01:21
들어가며 카프카를 운영하다 보면 다양한 컨슈머가 붙었다(active) 떨어지곤(inactive) 합니다. 특히, 운영 과정에서 자주 사용하는 콘솔 컨슈머의 경우, 사용할 때마다 새로운 컨슈머 그룹 정보를 생성하게 됩니다. 그런데 운영하다 보면 어느샌가 이전에 사용했던 컨슈머 그룹 정보가 남아있지 않다는 것을 볼 수 있습니다. 그렇다면 카프카는 컨슈머 그룹 정보를 언제 청소(clean up)하게 될까요? 이번 글은 로그 정보를 이용하여 컨슈머 그룹 정보가 언제 어떤 설정과 연관되어 사라지는지 알아봅니다. __consumer_offsets를 찍어보자 각 컨슈머 그룹은 컨슈밍 하는 토픽 파티션에 대하여 어디까지 컨슈밍 했는지를 __consumer_offsets 토픽에 저장합니다. 그렇다면 컨슈머 그룹은 이 토..
-
[기술부채] trust relationship? assume role?개발자 라이프 2021. 3. 7. 23:49
기술 부채 개요 부채 발생 상황 팀원들이 배포 관련된 작업 중 trust relationship와 assume role라는 단어를 언급하며 이야기하는데, 이해할 수 없었다. 사내 메신저에서도 같은 단어들을 몇 번 본 것 같았다. AWS 환경에서의 권한과 관련된 경험이 없었다. 부채 해소 방법 AWS 환경에서 권한과 관련된 개념을 정리한다. trust relationship 과 assume role 이 어떤 단어인지 알아보고 정리한다. 실제로 위 단어들이 어떻게 사용될지 그림으로 그린다. 부채 해소 AWS 환경에서 권한과 관련된 개념을 정리한다. Role Role은 AWS IAM 의 자격 증명으로써 리소스에 대한 접근할 수 있는 특정한 권한 정책을 갖습니다. 이러한 점에서 Role은 User와 유사합니다...