解决sqoop从postgresql拉数据,报错TCP/IP连接的问题
问题： sqoop从postgresql拉数据，在执行到mapreduce时报错Connection refused. Check that the hostname and port are correct and that the postmaster...
PostgreSQL去掉表中所有不可见字符的操作
问题描述 数据库中的某些数据中包含了某些不可见字符。ASCII码中的0-31,127属于控制字符，不可见。 这些不可见字符往往是不需要的，我们要想办法删除它。 解决办法 写一函数，将所有字段中的不可见字符替换为空格。 测试流程 环境准备 建表，并插入带不可...
PostgreSQL逻辑复制解密原理解析
全量与增量同步 自建实例迁移上云实践 在数字化时代的今天，我们都认同数据会创造价值。为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而在这纵横交错的数据网络...
PostgreSQL 分页查询时间的2种比较方法小结
数据库中存了3000W条数据，两种分页查询测试时间 第一种 SELECT * FROM test_table WHERE i_id> 1000 limit 100; Time: 0.016s 第二种 SELECT * FROM test_table ...
PostgreSQL管理工具phpPgAdmin入门指南
一、安装phpPgAdmin将下载的压缩包解压 对于 tar.gz 执行如下命令： gunzip phpPgAdmin-*.tar.gztar -xvf phpPgAdmin-*.tar 对于 tar.bz2 执行如下命令： bunzip2 phpPgAd...
Postgresql 检查数据库主从复制进度的操作
如何查看主从复制的状态，且备库应用落后了多少字节 这些信息要在主库中查询 查看流复制的信息可以使用主库上的视图 select pid,state,client_addr,sync_priority,sync_state from pg_stat_repli...
postgresql 获取两个时间类型小时差值案例
我就废话不多说了，看代码吧~ select extract(day from t) * 24 + extract(hour from t) from (select (timestamp ‘2013-12-14 12:00:00’ ...
基于postgresql行级锁for update测试
创建表： CREATE TABLE db_user ( id character varying(50) NOT NULL, age integer, name character varying(100), roleid character varyin...
深入解读PostgreSQL中的序列及其相关函数的用法
一、简介 序列对象（也叫序列生成器）就是用CREATE SEQUENCE 创建的特殊的单行表。一个序列对象通常用于为行或者表生成唯一的标识符。 二、创建序列 方法一：直接在表中指定字段类型为serial 类型 david=# create table tb...
PostgreSQL归档配置及自动清理归档日志的操作
在一般的生产环境中，数据库都需要开启归档模式，那么在pg中如何开启归档模式呢？ pg中的归档配置涉及几个参数如下： # – Archiving – 是否开启归档 #archive_mode = off # enables archi...
Windows上PostgreSQL安装配置教程
PostgreSQL的扩展PostGIS是最著名的开源GIS数据库。 安装PostgreSQL是第一步。 1.下载PostgreSQL的二进制安装文件。 PostgreSQL官网–>Download–>Windows 64位，如图所示： （1）...
postgreSQL数据库的监控及数据维护操作
目前postgreSQL数据库的管理，数据查询等都需要安装postgreSQL软件或安装pgadmin等，远程访问都需要先登录到服务器等繁琐的操作。如果是开发团队，那么每个开发，测试，管理人员都要经历这个麻烦的过程。 使用Treesoft数据库管理系统，基...