뱅크샐러드 Data Discovery Platform의 시작
안녕하세요, 뱅크샐러드 Data Foundation의 Data Engineering팀 Data Engineer Jensen…
기업 기술블로그의 Database 관련 글 343개
안녕하세요, 뱅크샐러드 Data Foundation의 Data Engineering팀 Data Engineer Jensen…
시작하기 전에 안녕하세요 똑똑한 개발자에서 백엔드 개발을 하고 있는 jujun입니다. django orm 은 디폴트로 해당 모델의 모든 컬럼을 불러옵니다. only 기능을 사용한다면 필요한 항목만 불러올 수 있게 됩니다. 이번 포스트에서는 only()와 반대(?)인 defer()기능은 명시된 컬럼을 빼고 모든 컬럼을 가져옵니다. 이는 불필요한 데이터를 불러오지 않게하여 컴퓨터 자원을 보다 효율적으로 사용할수 있습니다. 하지만 잘못 사용하면 la
데이터 3법, 전자정부법, 개인정보보호법 등 법/제도 개정이 빠른 속도로 추진되고, 개인정보의 “이동권”이 광범위하게 보장되고 실행될수 있는 마이데이터 인프라가 구축되고 있다. 생활 속에서 만들어지고, 어디엔가 저장되고 활용되고 있는 개인정보, 나의 데이터가 “마이데이터”로 고유명사화…
데이터…
시작하기 전에 안녕하세요 똑똑한 개발자에서 백엔드 개발을 하고 있는 jujun입니다. django orm 은 디폴트로 해당 모델의 모든 컬럼을 불러옵니다. 하지만 only 기능을 사용한다면 필요한 항목만 불러올 수 있게 됩니다. 이는 불필요한 데이터를 불러오지 않게하여 컴퓨터 자원을 보다 효율적으로 사용할수 있습니다. 하지만 잘못 사용하면 lazy lading 에 의해 불필요한 쿼리를 발생시킵니다. 자세히 알아보겠습니다. . 본론 예제코드 아래
0. 시작하며 정답이 없다는 것은 참 어려운 것 같습니다. 마치 이 도입부를 쓰는 데에 제가 1시간 30분이 넘는 시간 동안 하얀색 화면을 보며 어떠한 말로 이 포스팅을 시작하면 좋을지 고민한 것처럼요. 본문은 쉽습니다. 제가 이 포스팅에서 쓰고자 한 내용을 전달하면 되니까요. 마무리 역시 모든 내용을 정리하며 끝마치는 내용을 적으면 되니 어려울 것도 없습니다. 그러나 도입부는 그러한 가이드라인이 없어서 어떻게 해야 잘 쓴 도입부일까 하는 고민
안녕하세요, 똑똑한개발자에서 백엔드 개발을 하고 있는 권창식입니다. 벌써 3번째 데이터베이스 이야기입니다.😃 오늘은 데이터베이스 관계의 개념에 대해 소개해드리고 자 합니다. 관계의 정의 관계는 개체와 개체 사이의 논리적인 연결을 의미합니다. 관계에는 개체 간의 관계와 속성 간의 관계가 있습니다. 관계의 형태 1:1(One To One) : 개체 집합 A의 각 원소가 개체 집합 B의 원소 한 개와 대응하는 관계입니다. 1:N(One To Man
Linger Kafka 에 보면 linger 라는 개념이 나옵니다. 프로듀서가 메세지를 전송할 때, 전송을 위한 통신 오버헤드를 줄이기 위해 메세지를 어느 정도 모아서 보내는 방식입니다. 네트워크 비용은 대체적으로 큰 비용에 속하기 때문에 이를 줄이기 위한 방법입니다. 이 컨셉은 kafka 의 여러 곳에서 등장합니다. 기능만큼이나 성능 측면에서 비용을 낮추기 위해 여러 방안을 사용한 듯 싶습니다. 네트워크 비용만큼이나 비싼 비용은 바로 DB 비용입니다. 특히 RDB 에서는 원하는 목표를 위한 큰 비용을 마주하곤 합니다. 도메인의 특이한 제약은 종종 겪곤 하는데 저도 이번 경우에 몇몇 제약적인 상황 하에 RDB 의 비용을 효율적으로 다뤄보기 위해 linger 전략을 도입한 사례를 소개합니다. Linger ..
Data 모으기 사용할 다건의 data 목록을 마련할 때 상황에 따라 서로 다른 source 에서 조회해야 하는 경우가 있습니다. 예를 들면 data 가 일부 캐싱되는 경우를 들어봅시다. 10개의 data 를 조회하는데 일부는 캐시에서 조회가 가능할지도 모릅니다. 그리고 나머지는 DB 에서 조회해서 채워야 할 것 입니다. 이런 경우 캐시와 DB 라는 두 개의 data source 로 부터 필요한 data 목록을 조회하게 됩니다. 꼭 이런 경우가 아니더라도 우리의 data 아키텍쳐 상으로 여러 이유를 들어 data source 여러 곳에서 data 조회가 필요한 경우는 쉽게 생각할 수 있습니다. Data Source 우선순위 너무 복잡한 상황을 전제하지는 않을 예정이지만 기본적인 요구사항들은 짚어보려고 합..
안녕하세요. 카카오헤어샵 백엔드 개발팀 카이입니다. 이번 포스팅에서는 빈으로 등록된 값 사용한 AttributeConverter를 개발하면서 겪은 문제를 공유하고 어떻게 풀어 갔는지 소개해보려고 합니다. 저의 첫 포스팅 끝까지 읽어주실 거조. :) (문제 해결이 궁금하시다면 아래 요약으로 SKIP) 문제의 서막 엔티티의 속성 값 중 디비에 저장 및
안녕하세요. 카카오헤어샵 백엔드 개발팀 딘입니다. 이번 포스팅에서는 간단하지만 쉽게 놓칠 수 있는 부분을 소개해드리려고 합니다. :) 어느 날 API 모니터링 중 유난히 응답속도가 오래 걸리는 API를 발견하게 되었고, 어떤 작업을 수행하는 API인지 찾아보게 되었습니다. API의 기능을 간략하게 정리하자면 아래와 같은 기능을 수행하고 있었습니다. 사
AWS에서는 2021년 3월 2일 오사카 리전(ap-northeast-3)을 정식 오픈하였습니다. 오사카 리전은 2018년부터 제한적으로 일부 고객에게만 서비스되던 로컬 리전으로 AZ를 3개로 확장하면서 일반 리전으로 공개하였습니다. 도쿄, 홍콩, 뭄바이, 서울, 싱가폴, 시드니, 베이징, 닝샤에 이어 아시아 9번째 리전이며, 리전 코드는 ap-nor...
이벤트 케러셀 남은 기간에는 저번 인턴기에 쓴 이벤트 케러셀/배너 스태프 페이지 만들기 작업을 이어서 계속했다. 관리자 페이지에서 케러셀과 배너를 저장하면 관련 정보를 DB에 저장하는 API와 DB에 저장된 정보를 바탕으로 홈페이지에 케러셀과 배너를 자동으로 띄우는 API를 만들었다. 100% 완성한 게 아니라서 인수인계를 하고 가야 한다는 점이 좀 아쉽다. 9주가 호로록 처음 인턴기 쓰던 순간이 생각난다. 그때는 2주도 이렇게 안 지나가는데
안녕하세요. Sell POD팀에서 판매자 대상으로 업무를 하고 있는 개발자 박명훈입니다. 오늘은 좀 더 기술적인 글을 작성해보려고 합니다. 최근 만든 서비스 중 하나는 지마켓과 옥션의 판매자 플랫픔 ESM+에서 접속 중인 사용자를 확인하고 다른 사용자를 로그아웃 시킬 수 있는 기능을 개발하였습니다. 다른 시니어 개발자 분 한분과 함께 개발을 했는데, 저는 서비스에서 사용하는 API을 주로 개발하였습니다. 이 기능을 통해서 현재 접속하고 있는 로그인 유저를 확인할 수 있고, 중복 로그인이 발생하였는지를 알 수 있고 이를 통해 다른 기능을 제공할 수 있습니다. 개발 고민최초 해당 업무를 받았을 때, 어떤 식으로 개발을 해야할 지 많은 고민을 했습니다. 당연히 로그인에 대한 로직이고, 해당 데이터 접근이 많고..
HashMap은 매우 유용한 자료형(?)이다. Java에서 HashMap과 HashTable의 비교하는 글은 인터넷에 많이 있으므로 따로 정리하지 않겠다. HashMap은 key 와 value로 구성되는데 Map이라는 자료구조를 사용한다. Map은 key와 value을 연결하는 개념의 자료구조이다. 아래과 같은 식이다. "korea" --> "seoul" "japan" --> "tokyo" Java에서 Map은 interface이다. 즉 먼가 내부적으로 구현되어있는 것이 아니고 역활과 기능을 정리한 개념이라는 뜻이다. https://docs.oracle.com/javase/8/docs/api/java/util/Map.html Map은 하나의 key에 하나의 value가 mapping된다. 그외에도 여러가..
개별 서비스에 직접적인 영향은 없으나 서비스 유지보수에 도움이 되는 Quartz Scheduler Admin 에 대한 고도화 작업을 진행함으로서 실무 투입전 포털개발팀에서 사용하는 기술 스펙 적응 및 업무 프로세스 등을 익히고 파일럿 프로젝트 이후에도 계속 사용할 수 있는 산출물을 남김으로서 팀에 기여 하고자 하였습니다. Intro Quartz Scheduler Admin 이란? Quartz Job Scheduler 는 DB 기반으로 스케줄러
페이지 18 / 20 (총 343개)