轻松搞定!Linux下如何快速配置C (linux配置c)

C是一款由阿里巴巴开源的数据同步工具,支持实时增量数据同步和定时全量数据同步,能够快速、安全、可靠地将数据从源端同步到目标端。在许多企业中,C已经成为了数据同步的首选工具。本文将介绍如何在Linux系统下快速配置C,以便您可以开始使用这个强大的工具。

配置前的准备

在开始配置C之前,您需要先验证几个必要条件是否已经满足:

1.确保已安装Java环境

C是基于Java语言开发的,因此需要Java环境的支持。在Linux系统下,可以通过以下命令检查是否已经安装Java:

javac -version

如果命令返回版本信息,则表示Java已经安装成功。如果未安装,则需要先安装Java环境。

2.确保已安装MySQL或Oracle数据库

C需要使用MySQL或Oracle数据库进行数据存储。在Linux系统下,可以通过以下命令检查是否已经安装MySQL:

mysql -V

如果命令返回版本信息,则表示MySQL已经安装成功。如果未安装,则需要先安装MySQL。

3.确保已安装C部署包

C官方网站(https://github.com/alibaba/c)上提供了C的部署包,您可以选择下载并解压缩到任意目录。在本文中,我们将假设C部署包已经放置在/home/c目录下。

配置C

一旦您满足了上述条件,就可以开始进行C的配置了。下面我们将分别介绍如何配置C Server和C Client。

配置C Server

C Server是C的核心组件,负责实现增量数据的采集和发布。要配置C Server,您需要按照以下步骤进行:

1.进入C Server目录

在Terminal中运行以下命令,进入C Server目录:

cd /home/c/c.deployer-1.1.5

2.创建C Server配置文件

在C Server目录下创建一个新的配置文件,命名为instance.properties,内容如下:

c.instance.mysql.addr = 127.0.0.1:3306

c.instance.mysql.username = root

c.instance.mysql.password = yourpassword

c.instance.master.address = 127.0.0.1:3306

c.instance.dbList = yourdatabase

c.instance.filter.regex = .*\\..*

其中,c.instance.mysql.addr指定了MySQL数据库的地址和端口;c.instance.mysql.username和c.instance.mysql.password指定了MySQL数据库的用户名和密码;c.instance.master.address指定了C Server采集数据的主库地址和端口;c.instance.dbList指定了要采集的数据库名;c.instance.filter.regex指定了采集数据的表名正则表达式。

3.启动C Server

在Terminal中运行以下命令,启动C Server:

sh bin/startup.sh

如果成功启动,则可以在logs目录下查看日志文件,以确保C Server正常运行。

配置C Client

C Client负责接收C Server从源端采集到的数据,并将其应用到目标端。要配置C Client,您需要按照以下步骤进行:

1.创建C Client配置文件

在C Server目录下创建一个新的配置文件,命名为c.properties,内容如下:

c.id = 1

c.server.mode = tcp

c.server.address = 127.0.0.1:11111

c.instance.filter.regex = .*\\..*

其中,c.id指定了C Client的ID;c.server.mode指定了C Server的工作模式;c.server.address指定了C Server的地址和端口;c.instance.filter.regex指定了要采集的数据表名的正则表达式。

2.启动C Client

在Terminal中运行以下命令,启动C Client:

sh bin/startup.sh

如果成功启动,则可以在logs目录下查看日志文件,以确保C Client正常运行。

结论

至此,您已经完成了C的配置。如今,C已经成为了企业中广泛使用的数据同步工具。通过快速、安全、可靠地将数据从源端同步到目标端,C可以帮助企业更加高效地运营业务,提升数据处理的质量和效率。通过本文的说明,您可以轻松学会如何在Linux系统下配置C,开启数据同步的新旅程。

相关问题拓展阅读:

c 系列:ES中nested嵌套类型同步

在日常的业务开发场景中,像 一个人有多套房子,多个住址 ,一篇文章中有多个评论这种需求还是非常常见的。当我们使用 Elasticsearch 来进行存储时, ES 的字段类型是 nested 类型 ,虽然这个效率不高。

当我们使用 c 对数据进行增量同步到 ES 时,c-adapter 是否是支持 nested 类型呢?

查看 issue 提问

好遗憾。大佬说暂时不支持。

在本想放弃的时候,看到 issue 中有位小伙伴说,配置 object 兼容 nested ,但是并没有给出解决方案。废话不多说,实践一把,走起。

1. 数据处理

1.1 创建 存在 字段类型为 nested 的索引 c_test

首先创建 elasticsearch的索引名为 c_test  ,其中 addresses 字段是 nested 类型

创建 两张表 t_address(地址表),t_rk (人口表)。一个人可以有多个地址,一对多的关系

默认已经熟悉 c 和 c-adapter 的使用。在同步到 es 中,我们知道需要为每个索引配置一份 yml 的配置文件,下面创建c_test.yml 文件 ,同步配置如下

* 重点关注

配置中的关键

*  获取第 1 步中准备的sql,执行测试数据 sql

c 执行日志

  3.  同步结果

4. 搜索验证 

查询结果:

好了 ,今天的实践就到这里。你学废了吗? 

这边格式有点奇怪,有需要可以到公众号看

linux配置c的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于linux配置c,轻松搞定!Linux下如何快速配置C,c 系列:ES中nested嵌套类型同步的信息别忘了在本站进行查找喔。


数据运维技术 » 轻松搞定!Linux下如何快速配置C (linux配置c)