페이로드(Payload) 에 대해서
2023. 8. 13. 18:26
데이터 엔지니어링/개념정리
내가 알고 있는 페이로드는 데이터를 요청했을 때 응답으로 보내지는 데이터 부분이라고 알고 있다. 그래서 정확히 페이로드가 무엇인지에 대해서 정리해보려고 한다. 페이로드(Payload) 란 페이로드(Payload) 는 전송되는 데이터 를 의미한다. 페이로드 는 전송의 근본적인 목적이 되는 데이터의 일부분으로 그 데이터와 함께 전송되는 헤더와 메타데이터와 같은 부분을 제외한 데이터이다. 컴퓨터 보안에서는 페이로드를 멀웨어의 일부를 뜻한다. 페이로드(Payload) 라는 용어는 큰 데이터 덩어리 중 '흥미 있는' 데이터를 구별하는 데 사용한다. 또한 운송업에서 비롯된 용어인데 지급(pay) 해야하는 적화물(load) 를 의미한다고 한다. 프로그래밍에서는 주로 메시지 프로토콜 중에서 프로토콜 오버헤드와 원하는 ..
Debezium 에 대해서
2023. 7. 31. 18:06
데이터 엔지니어링/개념정리
향후 일을 하기 전에 어떤 기술 스텍들을 사용하는지 알아보던 중 Debezium 이라는 기술을 처음 들어보게 되었다. 그래서 Debezium 이 뭔지 알아보려고 한다. Debezium 이란? Debezium (이하, 데베지움) 의 공식 문서는 아래의 사이트에서 확인할 수 있다. https://debezium.io/ Debezium Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps com..
OLPT 와 OLAP 에 대해서
2023. 2. 5. 18:03
데이터 엔지니어링/개념정리
OLTP (OnLine Transaction Processing) 복수의 사용자 PC 에서 발생되는 트랜잭션을 DB 서버가 처리하고 그 결과를 요청한 사용자 PC 에 결과를 되돌려주는 과정이라고 한다. 데이터를 처리하는데 중점을 둔다. 데이터를 처리한다고 하면 INSERT, UPDATE, DELETE 를 한다고 보면 된다. 이렇게 OLTP 는 데이터베이스의 최신 데이터를 유지하고 데이터 무결정을 보장한다. 간단하게 말하자면, 데이터 처리에 중점을 두었다는 것! OLAP (OnLine Analytical Processing) 데이터 웨어하우스에 저장된 데이터를 분석하여 사용자에게 유의미한 정보를 제공해주는 처리 방법을 의미한다. 사용자의 의사 결정에 도움을 주는 것으로 데이터 분석, 데이터 마이닝에서 주로..