kafka connect - FileStreamSourceConnector - CLI환경

https://mvnrepository.com/artifact/org.apache.kafka/connect-file/3.4.0

우선 위에서 jar파일을 찾아서 /home/jeongjihong/confluent/share/java/kafka를 넣어준다.

---

curl -X GET http://localhost:8083/connector-plugins

어떠한 플러그인들이 존재하는지 확인

---

FileStreamSourceConnector를 이용하여, 파일의 내용을 읽어서 kafka의 특정 토픽으로 전송하는 source connector이다.

• 이는 kafka에서 producer역할을 수행한다.
•  

curl -X POST -H "Content-Type: application/json" \
--data '{
  "name": "local-file-source",
  "config": {
    "connector.class": "org.apache.kafka.connect.file.FileStreamSourceConnector",
    "file": "/tmp/test.txt",
    "tasks.max": "1",
    "topic": "connect-test"
  }
}' \
http://localhost:8083/connectors

저렇게 producer역할을 해준다.

그리고 확인해보면 읽은것이 확인된다.

 

 

curl -X POST -H "Content-Type: application/json" --data '@jdbc-sink-connector.json' http://localhost:8083/connectors