txt格式数据快速导入Redis(txt格式导入redis)

Txt格式数据是一种常用的文本文件格式,主要用于存储由文本字符构成的纯文本信息。一般情况下,每一行的数据就是一条记录,每条记录中的每一列都含有少量的文本内容,相互之间用某种分隔符(如逗号、空格\t)分隔开来。如下列 txt 文档:

name, age, grade
Tom, 12, A
Jack, 10, B

Redis是一款高性能、开源的键值对存储数据库,属于NoSQL数据库,可以存储各种不同类型的数据。那么,如何快速将上述Txt格式的数据导入Redis呢?

方法一:编写 python 脚本实现

可以调用 Redis 的 python 客户端实现读取 txt 文件中的内容,利用 redis 的 set 方法进行记录存储。例如编写python脚本import_txt_2_redis.py如下:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import sys
import redis

# 从命令行读入txt文件名
filename = sys.argv[1]

# 连接到redis服务
r = redis.StrictRedis(host='localhost', port=6379, db=0)

# 将txt文件中的每一行内容读取,逐行读取
for line in open(filename, 'r'):
# 对每一行,使用逗号作为分隔取出记录
line_list = line.split(',')
# 将记录根据规则存入redis
key = ':'.join(line_list[0:1])
val = ':'.join(line_list[1:3])
r.set(key, val)

方法二:Redis提供的redis-cli脚本

使用redis提供的redis-cli工具可以非常快速的将 txt 文件导入到 Redis 数据库中,以下命令会读取 test.txt 文件中的数据,使用 txt 文件中的第一列作为键,后面所有的列都作为对应的值:

redis-cli --pipe

$ cat test.txt | redis-cli --pipe

以上就是快速将Txt格式数据导入Redis的方法,其中 python 脚本和 redis-cli 脚本两者选择其一使用即可,但如果有多个txt文件需要导入则建议使用 python 脚本,因为它更容易操作,而且有更多的控制特性。


数据运维技术 » txt格式数据快速导入Redis(txt格式导入redis)