TSV数据库介绍及应用分析 (tsv 数据库)

TSV数据库是一种文本格式的数据库,其主要特点是使用制表符来分隔数据字段。这种数据库的优点在于数据结构简单、易于处理和解析,同时也可以方便地进行人工编辑和查看。在本文中,将介绍TSV数据库的基本概念和特点,并探讨其适用的场合以及应用案例。

一、TSV数据库的基本概念和特点

1. TSV数据库的概念

TSV数据库是指使用制表符(Tab)作为字段之间的分隔符,并将数据保存为文本文件的一类数据库。这种文件格式是一种标准的MIME类型,其全称是Tab-Separated Values,简称TSV。

2. TSV数据库的特点

TSV数据库具有如下几个特点:

(1)使用文本文件格式

TSV数据库文件是纯文本文件,可以使用任何文本编辑器来打开和编辑,同时也可以方便地进行备份和传输。

(2)使用制表符作为字段分隔符

TSV数据库使用制表符作为字段之间的分隔符,这种分隔符的优点在于相对于逗号(CSV)和分号(SSV)等其他分隔符更为稳定和可靠。

(3)支持多种编码方式

TSV数据库文件支持多种编码方式,包括UTF-8、UTF-16和GBK等,可以根据需要进行选择。

二、TSV数据库的应用场合

1. 数据交换和导入

TSV数据库适用于数据交换和导入的场合。比如在不同的系统之间传递数据时,可以将数据以TSV格式进行导出和导入,以实现数据的传输和共享。

2. 数据分析和统计

TSV数据库也适用于数据分析和统计的场合。对于一些数据量不是很大的场合,可以使用TSV格式来保存数据,然后在数据分析软件中进行处理和分析。

3. 数据存储和备份

TSV数据库适用于一些数据存储和备份的场合。比如将数据作为文本文件保存在本地或者远程服务器上,可以使用TSV格式来保存数据,以实现快速的存储和备份。

三、TSV数据库的应用案例

1. 在Python中使用TSV数据库

Python是一种非常流行的编程语言,也是数据科学和机器学习领域中更受欢迎的语言之一。在Python中,可以使用pandas库来读取和写入TSV文件。下面是一个简单的例子:

“`python

import pandas as pd

# 读取TSV文件

df = pd.read_csv(‘data.tsv’, sep=’\t’)

# 分析数据

df.mean()

“`

2. 在R中使用TSV数据库

R是一种专门用于数据分析和统计的编程语言,非常适合处理各种数据。在R中,可以使用read.table函数来读取和写入TSV文件。下面是一个简单的例子:

“`R

# 读取TSV文件

df

# 分析数据

summary(df)

“`

3. 在Excel中使用TSV数据库

Excel是一种非常流行的电子表格软件,适合处理中小型的数据。在Excel中,可以直接打开TSV文件,并进行数据处理和统计。下面是一个简单的例子:

打开TSV文件,并使用Excel的数据透视表功能进行数据分析。

四、结论

通过本文的介绍,我们了解到了TSV数据库的基本概念和特点,以及其在数据交换、分析和存储等方面的应用场合和应用案例。对于一些小型数据的场合,使用TSV数据库是一种简单、灵活和可靠的选择。

相关问题拓展阅读:

mysql数据库可以存图片吗?

可以。存图片的列需要设置成BLOB、MEDIUMBLOB或LONGBLOB等数据类型。

但是以前基本上不会把图片直接存在数据库里,因为数据库里的数据是为了用来快速分析、快速存取的,图片数据在mysql里既不能建立索引也不能和其他数据一起分析,存取速度和读写磁盘也没什么区别,每次备份、导入导出数据库时还增加了数据量,降低了效率。所以一般都是把图片存在系统里,然后把图片的存放路径放在数据库里。

mysql数据库是可以存储图片的,操作方法:

1、具体的脚本代码如下,其中我们假定文件上传域的名称为Picture;

2、这样,我们就可以成功的把图片保存到数据库中。如果在将图片插入MySQL的过程中出现问题,可以检查一下

MySQL数据库

所允许的更大

数据包

的大小。如果设置值过小的话,我们会在数据库的错误日志中找到相应的记录;

3、提取图片方法:编写两个文件。其中,之一个文件作为HTML页面的模板,定位图片的显示位置。第二个文件则被用来从数据库中实际输出文件流,作为标签的SRC属性;

4、当HTML页面被浏览时,每显示一副图片就会调用一次Second.php3文件。当第二个文件被调用时会传入相应的Picture ID,我们可以借此从数据库中取回对应的图片并显示。

在设计到数据库的开发中,难免要将图片或音频文件插入到数据库中的情况。一般来说,我们可以同过插入图片文件相应的存储位置,而不是文件本身,来避免直接向数据库里插入的麻烦。但有些时候,向MySQL中插入图片更加容易管理。

背景

MySQL 一直以来都有 TEXT、BLOB 等类型用来存储图片、视频等大对象信息。比如一张图片,随便一张都 5M 以上。视频也是,随便一部视频就是 2G 以上。

假设用 MySQL 来存放电影视频等信息,一部是 2G,那么存储 1000 部就是 2TB,2TB 也就是 1000 条记录而已,但是对数据库性能来说,不仅仅是看记录数量,更主要的还得看占用磁盘空间大小。空间大了,所有以前的经验啥的都失效了。

所以一般来说存放这类信息,也就是存储他们的存放路径,至于文件本身存放在哪里,那这就不是数据库考虑的范畴了。数据库只关心怎么来的快,怎么来的小。

举例

虽然不推荐 MySQL 这样做,但是也得知道 MySQL 该怎么做才行,做到心里有数。比如下面一张微信图片,大概 5M 的样子。

root@ytt:/var/lib/mysql-files# ls -sihl 微信图片_.jpg.4M -rw-r–r– 1 root root 5.4M Jul 11 07:17 微信图片_.jpg

拷贝 100 份这样的图片来测试

root@ytt:/var/lib/mysql-files# for i in `seq 1 100`; do cp 微信图片_.jpg “$i”.jpg;done;

root@ytt:/var/lib/mysql-files# ls

100.jpg   17.jpg  25.jpg  33.jpg  41.jpg  4.jpg   58.jpg  66.jpg  74.jpg  82.jpg  90.jpg  99.jpg  f8.tsv

10.jpg    18.jpg  26.jpg  34.jpg  42.jpg  50.jpg  59.jpg  67.jpg  75.jpg  83.jpg  91.jpg  9.jpg   微信图片_.jpg

1111.jpg  19.jpg  27.jpg  35.jpg  43.jpg  51.jpg  5.jpg   68.jpg  76.jpg  84.jpg  92.jpg  f1.tsv

11.jpg    1.jpg   28.jpg  36.jpg  44.jpg  52.jpg  60.jpg  69.jpg  77.jpg  85.jpg  93.jpg  f2.tsv

12.jpg    20.jpg  29.jpg  37.jpg  45.jpg  53.jpg  61.jpg  6.jpg   78.jpg  86.jpg  94.jpg  f3.tsv

13.jpg    21.jpg  2.jpg   38.jpg  46.jpg  54.jpg  62.jpg  70.jpg  79.jpg  87.jpg  95.jpg  f4.tsv

14.jpg    22.jpg  30.jpg  39.jpg  47.jpg  55.jpg  63.jpg  71.jpg  7.jpg   88.jpg  96.jpg  f5.tsv

15.jpg    23.jpg  31.jpg  3.jpg   48.jpg  56.jpg  64.jpg  72.jpg  80.jpg  89.jpg  97.jpg  f6.tsv

16.jpg    24.jpg  32.jpg  40.jpg  49.jpg  57.jpg  65.jpg  73.jpg  81.jpg  8.jpg   98.jpg  f7.tsv

我们建三张表,分别用 LONGBLOB、LONGTEXT 和 VARCHAR 来存储这些图片信息

mysql> show create table tt_image1G

*************************** 1. row ***************************

Table: tt_image1

Create Table: CREATE TABLE `tt_image1` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`image_file` longblob,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

1 row in set (0.00 sec)

mysql> show create table tt_image2G

*************************** 1. row ***************************

Table: tt_image2

Create Table: CREATE TABLE `tt_image2` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`image_file` longtext,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

1 row in set (0.00 sec)

mysql> show create table tt_image3G

*************************** 1. row ***************************

Table: tt_image3

Create Table: CREATE TABLE `tt_image3` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`image_file` varchar(100) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

1 row in set (0.00 sec)

我们来给三张表插入 100 张图片(插入前,建议把 max_allowed_packet 设置到更大)

tt_image1

root@ytt:/var/lib/mysql-files# for i in `seq 1 100`;

do mysql -S /var/run/mysqld/mysqld.sock -e “insert into ytt.tt_image1(image_file)

values (load_file(‘/var/lib/mysql-files/$i.jpg’))”;done;

tt_image2

root@ytt:/var/lib/mysql-files# for i in `seq 1 100`;

do mysql -S /var/run/mysqld/mysqld.sock -e “insert into ytt.tt_image2(image_file)

values (hex(load_file(‘/var/lib/mysql-files/$i.jpg’)))”;done;

tt_image3

root@ytt:/var/lib/mysql-files# aa=’begin;’;for i in `seq 1 100`;

do aa=$aa”insert into ytt.tt_image3(image_file) values

(‘/var/lib/mysql-files/$i.jpg’);”;

done;aa=$aa’commit;’;mysql -S /var/run/mysqld/mysqld.sock -e “`echo $aa`”;

检查下三张表记录数

mysql> select ‘tt_image1’ as name ,count(*) from tt_image1 union allselect ‘tt_image2’,count(*) from tt_image2 union all select ‘tt_image3’, count(*) from tt_image3;+++| name      | count(*) |+++| tt_image1 ||| tt_image2 ||| tt_image3 ||+++3 rows in set (0.00 sec)

看下文件大小,可以看到实际大小排名,LONGTEXT 字段存储的更大,LONGBLOB 字段缩小到一半,最小的是存储图片路径的表 tt_image3。所以这里从存储空间来看,存放路径最占优势。

root@ytt:/var/lib/mysql/ytt# ls -silhS tt_image*.1G -rw-rmysql mysql 1.1G Jul 11 07:27 tt_image2.ibdM -rw-rmysql mysql 544M Jul 11 07:26 tt_image1.ibdK -rw-rmysql mysql 112K Jul 11 07:27 tt_image3.ibd

那么怎么把图片取出来呢?

tt_image3 肯定是最容易的

mysql> select * from tt_image3;+—-++| id | image_file   |+—-++|  1 | /var/lib/mysql-files/1.jpg |+—-++…100 rows in set (0.00 sec)

tt_image1 直接导出来二进制文件即可,下面我写了个存储过程,导出所有图片。

mysql> DELIMITER $$mysql> USE `ytt`$$mysql> DROP PROCEDURE IF EXISTS `sp_get_image`$$mysql> CREATE DEFINER=`ytt`@`localhost` PROCEDURE `sp_get_image`()mysql> BEGIN      DECLARE i,cnt INT DEFAULT 0;      SELECT COUNT(*) FROM tt_image1 WHERE 1 INTO cnt;      WHILE i DELIMITER ;mysql> call sp_get_image;

tt_image2 类似,把 select 语句里 image_file 变为 unhex(image_file) 即可。

总结

这里我举了个用 MySQL 来存放图片的例子,总的来说有以下三点:

占用磁盘空间大(这样会带来各种各样的功能与性能问题,比如备份,写入,读取操作等)

使用不易

还是推荐用文件路径来代替实际的文件内容存放

tsv 数据库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于tsv 数据库,TSV数据库介绍及应用分析,mysql数据库可以存图片吗?的信息别忘了在本站进行查找喔。


数据运维技术 » TSV数据库介绍及应用分析 (tsv 数据库)