리눅스/kafka

kafka connect에서 mysql로 data 보내기- standalone으로

정지홍 2024. 11. 19. 10:42

1. 우선 보낼 테이블이다.

 

 

 

 

2./home/jeongjihong/confluent/etc/kafka/connectors에 sink-mysql.properties를 작성함

  • connect-standalone ~/confluent/etc/kafka/connect-standalone.properties sink-mysql.properties

 

 

3. standalone의 설정

  • /home/jeongjihong/confluent/etc/kafka/plugins/confluentinc-kafka-connect-jdbc/libs/mysql-connector-j-9.1.0.jar
    위의 위치에 드라이버를 넣었다..... 아니 경로를 넣으라면 당연 libs안까지 작성하는거 아닌가..... 왜 저렇게 해야만 인식이 되는거지...... 이걸로 2주간 애먹었다....

 

4. 프로듀서로 다음과 같이 보내었다.

{"schema":{"type":"struct","fields":[{"field":"id","type":"int64"},{"field":"name","type":"string"},{"field":"email","type":"string"}],"optional":false,"name":"com.example.User"},"payload":{"id":5,"name":"John ewagDoe","email":"john.doeesagv@example.com"}}

 

5.insert가 이루어짐을 확인하였다.

 

 

6. 로그메시지