-
Zero copy transfer엔지니어링/Kafka 2022. 2. 24. 11:45728x90
zero-copy transfer란 ?
제로 카피를 사용하면 데이터가 딱 한 번 페이지 캐시에 복사된다. 필요시 재사용되며, 읽을 때 마다 user-space에 복사된다. 캐시에서 데이터를 모두 처리하기 때문에 디스크에서 읽기 작업이 전혀 발생하지 않는다.
zero-copy transfer는 왜 빠를까 ?
데이터의 암호화/해제를 위해 브로커(JVM)으로 이동할 필요가 없기 때문이다.
SSL 사용 시, zero-copy transfer를 왜 사용할 수 없을까 ?
SSL을 사용하면 브로커(JVM)가 데이터를 암호화해야 하기 때문에, 데이터가 캐시에서 바로 consume 될 수 없기 때문이다.
- If user enable an SSL endpoint in Kafka, Zero Copy will be lost. This beacause with SSL, messages will need to be encrypted and decrypted by being first loaded into the JVM.
note. (22.04.18)
페이지 캐시는 메인 메모리(램)의 남는 공간을 활용한 것으로, 파일 I/O의 성능을 향상시키기 위해 사용된다. 해당 공간에 사용된 파일의 내용을 저장해 놓았다가 다음 read나 open시에 활용하여 컴퓨터의 성능을 극대화시키는 것이다.
728x90'엔지니어링 > Kafka' 카테고리의 다른 글
Kafka consumer group (0) 2022.03.04 Apache Kafka Streams 예제코드 (0) 2022.03.03 Jabba Utility (0) 2022.02.15 [구성] Mongo Sink Connector (0) 2021.12.22 [설치, 구성] Apache Kafka Installation (0) 2021.11.29