Skip to content

Commit

Permalink
docs: 优化5.x版本的RocketMQ Connect 快速接入、实战4、实战5 文档,修复错误的docker命令等内容,添加详细的…
Browse files Browse the repository at this point in the history
…操作步骤
  • Loading branch information
yuanzhi committed Nov 23, 2023
1 parent 8ceaf3a commit 6302f37
Show file tree
Hide file tree
Showing 6 changed files with 22 additions and 26 deletions.
15 changes: 7 additions & 8 deletions docs/10-connect/03RocketMQ Connect Quick Start.md
Original file line number Diff line number Diff line change
Expand Up @@ -165,7 +165,8 @@ sleep 10
cat /Users/YourUsername/rocketmqconnect/test-sink-file.txt
```
**注意**:文件内容可能顺序不一样,这主要是因为RocketMQ发到不同queue时,接收不同queue消息顺序可能也不一致导致的,是正常现象。
**注意**:文件内容可能顺序不一样,这是因为 `rocketmq-connect-sample` 向RocketMQ Topic中收发消息时,使用的消息类型是普通消息,区别于顺序消息,消费普通消息时是不保证顺序的。
#### sink connector配置说明
Expand All @@ -178,20 +179,18 @@ cat /Users/YourUsername/rocketmqconnect/test-sink-file.txt
**注意**:source/sink配置文件说明是以rocketmq-connect-sample为demo,不同source/sink connector配置有差异,请以具体sourc/sink connector 为准
## 6.停止connector
```shell
GET请求
http://(your worker ip):(port)/connectors/(connector name)/stop
RESTFul 命令格式 `http://(your worker ip):(port)/connectors/(connector name)/stop`
停止demo中的两个connector
```shell
curl http://127.0.0.1:8082/connectors/fileSinkConnector/stop
curl http://127.0.0.1:8082/connectors/fileSourceConnector/stop
```
curl请求返回status:200则表示停止成功,返回样例:
>{"status":200,"body":"Connector [fileSinkConnector] deleted successfully"}
看到以下日志说明file sink connector 启动成功了
看到以下日志说明file sink connector 停止成功了
```shell
tail -100f ~/logs/rocketmqconnect/connect_default.log
```
Expand All @@ -215,7 +214,7 @@ ls ~/logs/rocketmqconnect
connect-standalone.conf配置文件中, 配置了 [RESTful](https://restfulapi.cn/) 端口,storeRoot 路径,Nameserver 地址等信息,可根据需要进行修改。
### 配置说明
配置文件样例:
```shell
#current cluster node uniquely identifies
Expand All @@ -236,7 +235,7 @@ namesrvAddr=127.0.0.1:9876
pluginPaths=
```
### storePathRootDir配置说明
storePathRootDir配置说明
单机模式(standalone)下,RocketMQ Connect 会把同步位点信息持久化到本地文件目录 storePathRootDir,持久化文件包括
Expand Down
2 changes: 1 addition & 1 deletion docs/10-connect/07RocketMQ Connect In Action4.md
Original file line number Diff line number Diff line change
Expand Up @@ -223,4 +223,4 @@ sleep 10
cat /Users/YourUsername/rocketmqconnect/sftp-test/sink.txt
```
**注意**:文件内容可能顺序不一样,这主要是因为RocketMQ发到不同queue时,接收不同queue消息顺序可能也不一致导致的,是正常现象
**注意**:文件内容可能顺序不一样,这是因为`rocketmq-connect-sftp`向RocketMQ Topic中收发消息时,使用的消息类型是普通消息,区别于顺序消息,消费普通消息时是不保证顺序的
7 changes: 3 additions & 4 deletions docs/10-connect/08RocketMQ Connect In Action5-ES.md
Original file line number Diff line number Diff line change
Expand Up @@ -198,10 +198,10 @@ POST /_bulk
```
**说明**
- connect_es:数据的索引名称
- id/field1/field2 是字段名称,1、value1、value2 分别是字段的值。
- id/field1/field2:数据中的字段名称,1、value1、value2 分别是字段的值。
**注意**:rocketmq-connect-elasticsearch 存在一个限制,就是数据中必须要一个可用于 >= 比较运算的字段(字符串 或 数字),该字段会被用于记录同步的位点信息。
上面的示例中 id 字段,就是一个全局唯一、自增的数值类型字段。
**注意**`rocketmq-connect-elasticsearch` 存在一个限制,就是数据中必须要一个可用于 >= 比较运算的字段(字符串 或 数字),该字段会被用于记录同步的位点信息。
上面的示例中 `id` 字段,就是一个全局唯一、自增的数值类型字段。
#### 查数据
查询索引下的数据:
Expand Down Expand Up @@ -231,7 +231,6 @@ GET /connect_es/_search
若有数据,则返回示例为:
```
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.15/security-minimal-setup.html to enable security.
{
...
"hits" : {
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -165,7 +165,8 @@ sleep 10
cat /Users/YourUsername/rocketmqconnect/test-sink-file.txt
```
**注意**:文件内容可能顺序不一样,这主要是因为RocketMQ发到不同queue时,接收不同queue消息顺序可能也不一致导致的,是正常现象。
**注意**:文件内容可能顺序不一样,这是因为 `rocketmq-connect-sample` 向RocketMQ Topic中收发消息时,使用的消息类型是普通消息,区别于顺序消息,消费普通消息时是不保证顺序的。
#### sink connector配置说明
Expand All @@ -178,20 +179,18 @@ cat /Users/YourUsername/rocketmqconnect/test-sink-file.txt
**注意**:source/sink配置文件说明是以rocketmq-connect-sample为demo,不同source/sink connector配置有差异,请以具体sourc/sink connector 为准
## 6.停止connector
```shell
GET请求
http://(your worker ip):(port)/connectors/(connector name)/stop
RESTFul 命令格式 `http://(your worker ip):(port)/connectors/(connector name)/stop`
停止demo中的两个connector
```shell
curl http://127.0.0.1:8082/connectors/fileSinkConnector/stop
curl http://127.0.0.1:8082/connectors/fileSourceConnector/stop
```
curl请求返回status:200则表示停止成功,返回样例:
>{"status":200,"body":"Connector [fileSinkConnector] deleted successfully"}
看到以下日志说明file sink connector 启动成功了
看到以下日志说明file sink connector 停止成功了
```shell
tail -100f ~/logs/rocketmqconnect/connect_default.log
```
Expand All @@ -215,7 +214,7 @@ ls ~/logs/rocketmqconnect
connect-standalone.conf配置文件中, 配置了 [RESTful](https://restfulapi.cn/) 端口,storeRoot 路径,Nameserver 地址等信息,可根据需要进行修改。
### 配置说明
配置文件样例:
```shell
#current cluster node uniquely identifies
Expand All @@ -236,7 +235,7 @@ namesrvAddr=127.0.0.1:9876
pluginPaths=
```
### storePathRootDir配置说明
storePathRootDir配置说明
单机模式(standalone)下,RocketMQ Connect 会把同步位点信息持久化到本地文件目录 storePathRootDir,持久化文件包括
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -223,4 +223,4 @@ sleep 10
cat /Users/YourUsername/rocketmqconnect/sftp-test/sink.txt
```
**注意**:文件内容可能顺序不一样,这主要是因为RocketMQ发到不同queue时,接收不同queue消息顺序可能也不一致导致的,是正常现象
**注意**:文件内容可能顺序不一样,这是因为`rocketmq-connect-sftp`向RocketMQ Topic中收发消息时,使用的消息类型是普通消息,区别于顺序消息,消费普通消息时是不保证顺序的
Original file line number Diff line number Diff line change
Expand Up @@ -198,10 +198,10 @@ POST /_bulk
```
**说明**
- connect_es:数据的索引名称
- id/field1/field2 是字段名称,1、value1、value2 分别是字段的值。
- id/field1/field2:数据中的字段名称,1、value1、value2 分别是字段的值。
**注意**:rocketmq-connect-elasticsearch 存在一个限制,就是数据中必须要一个可用于 >= 比较运算的字段(字符串 或 数字),该字段会被用于记录同步的位点信息。
上面的示例中 id 字段,就是一个全局唯一、自增的数值类型字段。
**注意**`rocketmq-connect-elasticsearch` 存在一个限制,就是数据中必须要一个可用于 >= 比较运算的字段(字符串 或 数字),该字段会被用于记录同步的位点信息。
上面的示例中 `id` 字段,就是一个全局唯一、自增的数值类型字段。
#### 查数据
查询索引下的数据:
Expand Down Expand Up @@ -231,7 +231,6 @@ GET /connect_es/_search
若有数据,则返回示例为:
```
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.15/security-minimal-setup.html to enable security.
{
...
"hits" : {
Expand Down

0 comments on commit 6302f37

Please sign in to comment.