国产成人AV无码一二三区,少女1到100集,国产精品久久久久精品综合紧,巜公妇之诱感肉欲HD在线播放

文章 > PostgreSQL > PostgreSQL怎么去重

PostgreSQL怎么去重

头像

月亮邮递员

2020-04-02 12:26:124675浏览 · 0收藏 · 0评论

PostgreSQL怎么去重

方法一:

通过group by分组,然后将分组后的数据写入临时表然后再写入另外的表,对于没有出现再group by后面的field可以用函数max,min提取,效率较高

推荐:PostgreSQL教程

--适合情况:这种情况适合重复率非常高的情况,一般来说重复率超过5成则可以考虑用这个方法

--优点:对于重复率高的数据集的去重,十分推荐用这种方法

--缺点:uuid不能用max或min提取,如果需要去重的数据集中包含uuid则十分尴尬

create temp table tmp_data1 as
select [field1],[field2]...,max(field_special),min(field_special) from group by [field1],[field2]...;
insert into [table] select * from tmp_data1;

 方法二:

通过union去除完全重复的行,效率较高

--适合情况:这种方法只适合去除完全重复的行

select * from table1
union
select * from table1;

方法三:

通过group by加id加not in,即先用group by分组,然后取出该分组下或最小的id组成集合,然后配合not in过滤掉重复的数据,效率很低,可以尝试配合临时表(测试发现依旧很慢)

--适合情况:由于该种方法效率很低,所以不推荐使用,如果数据量不大的情况下可以用这种方法,数据量只要上了100万就会很慢很慢

delete from [table] where id not in (select max(id) from table1 group by [field1],[field2]...);

方法四:

通过group by加having加in,即先用group by分组,然后用having count(*)>1取出分组数量大于1的行(即重复的行),然后用in删除重复行,效率较高

--适合情况:一条数据大概只有一到两三条重复,这种方法一次只能删除重复数据的一条,如果有些数据有几百次重复那就会累死,其实也可以使用函数做一个循环,但这样的效率就不高了

delete from [table] where id in (select max(id) from [table] group by [field1],[field2]... having count(*)>1);

方法五:

使用窗口函数加id,即可以使用窗口函数将数据分组,并将每个分组按行排号,并将行号与id(唯一id)存入一个集合里,这样就可以根据这个集合来取处重复行的id,即通过行号>1,

-- 然后根据id删除重复行,效率很高(100万数据,重复9万,时间: 14.596s)

--适合情况:该种方法效率很高,特别推荐使用,但需要了解窗口函数以及其中的一些关键词的意义

--row_number() 为返回的记录定义个行编号

--over 与row_number()函数配套使用

--partition by [field1],[field2]... 根据指定的字段分组

delete from [table] where id in (select id from (select row_number() over (partition by [field1],[field2]...), id from [table]) as t where t.row_number>1);

推荐学习《Python教程》。

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

日韩精品| 蜜桃3D| 美国大片免费观看2022年上映 | 被同桌没戴套干了春雨医生| 成品人和精品人的特点分析| 公交车上双乳被老汉揉搓玩下载| 双龙戏珠3父子免费阅读全文| 国精产品偷偷偷拍XXXX| 蜜桃| 黑料爆料一区二区三区| 白日梦我 电视剧| 女子蹲下尿裤子的视频| 少妇厨房与子伦HD| 火车上荫蒂添的好舒服电影| 俄罗斯少女2免费观看| 《男医生的特殊治疗》| 《囚禁空姐》电影免费观看| 国外成品网站1688入口在哪| 老公拿狗给我配| 英语班长乖乖挽起裙子怎么| 《不忠》免费观看完整版电影 | 张慧的奶头被老局长吃奶的视频 | 啊……快……用力啊小能视频| 成全在线观看免费全集高清完整版| 后母和子在玉米地之间的寓意| 女友躲雨被老头玩弄| 人皮客栈在线观看| 少妇洗澡被强公日日澡-百度| 黑料 官网| 《特别酒店》免费观看| 小寡妇在线观看免费播放电视剧| 兄弟换麦子4国语中字| 日韩| 五姑娘影院在线观看免费版电视剧 | 《炸裂吧!巨棒》免费阅读漫画| 动漫《纯洁的修女》在线看| 高三妈妈用性缓解孩子压力| 同学的母亲中字ID| 连体裤| 白色变态蕾丝超薄开档连身袜| 妈妈がだけの心に漂う