Python 列表去重并保留原有顺序:两种写法及适用条件

AI智能摘要
用set()去重很快,却会打乱列表原有顺序,而很多场景恰恰依赖元素第一次出现的先后。针对可哈希元素,dict.fromkeys一行就能保留首次出现顺序;元素不可哈希时,退回循环检查更稳妥,还可维护集合记录已见元素来提速。文中还指出list(set(...))的保序只是偶然,并区分了返回新列表与切片就地更新。你的数据究竟该选哪条路径?
— 此摘要由AI分析文章内容生成,仅供参考。

列表去重本身不难,难的是去完之后顺序还在。很多人第一反应是 set(),结果发现元素顺序被打乱,回头还得再排一次序,而排序又会改变原来的排列。要既去掉重复元素,又保住第一次出现的先后次序,常见做法有两种:用字典键去重,或者用循环逐个检查。两种写法都不复杂,区别主要在元素类型和性能上。

先说结论性的判断:如果列表里的元素是可以哈希的(数字、字符串、元组等),优先用字典键;如果元素不可哈希(列表、字典、集合等),循环比较是更稳妥的退路。

用字典键去重

字典的键不允许重复,而现代 Python 版本中字典又保持着插入顺序,这两条性质正好凑成一次去重。dict.fromkeys() 会用序列中的每个元素作为键创建字典,重复的元素自然被合并,剩下的键顺序就是元素第一次出现的顺序。

words = ["apple", "banana", "apple", "cherry", "banana", "date"]
result = list(dict.fromkeys(words))

print(words)   # ['apple', 'banana', 'apple', 'cherry', 'banana', 'date']
print(result)  # ['apple', 'banana', 'cherry', 'date']

处理前后放在一起看就很清楚:原列表 words 一个元素都没少,重复项仍在原位;新列表 result 只保留了每个元素第一次出现的位置,后面的重复项被丢弃。从输出可以看出,cherry 之所以排在 date 前面,是因为它先出现,而不是因为字母顺序。

这种写法短,读起来也不费劲,实际项目里用得最多。需要注意的一点是,它返回的是一个新的列表对象,对原列表没有任何影响。

用循环逐个检查

如果不想依赖字典,也可以自己维护一个结果列表,遍历原列表时判断当前元素是否已经收进去过。

words = ["apple", "banana", "apple", "cherry", "banana"]
result = []

for item in words:
    if item not in result:
        result.append(item)

print(result)  # ['apple', 'banana', 'cherry']

这段代码的逻辑直白:只有没见过的元素才追加。代价在于 item not in result 每次都要把已有结果从头比对一遍,元素一多,比较次数会明显上升。

如果既要保持这种逐个判断的写法,又不想每次都全量比对,可以额外维护一个集合记录已经出现过的元素:

words = ["apple", "banana", "apple", "cherry", "banana"]
seen = set()
result = []

for item in words:
    if item not in seen:
        seen.add(item)
        result.append(item)

print(result)  # ['apple', 'banana', 'cherry']

这里集合只负责“见过没有”的判断,结果列表负责保持顺序,各管一件事。判断从逐个比对变成了一次哈希查找,元素较多时差别会比较明显。

两种写法怎么选

把关键差异列出来对照会更直观:

对比项字典键 dict.fromkeys循环检查
代码长度一行完成需要若干行循环
元素要求必须可哈希用列表比较时不限制类型
顺序保留首次出现顺序保留首次出现顺序
是否改动原列表不改动,返回新列表不改动,返回新列表
适合场景数字、字符串、元组等常见元素元素不可哈希,或需要边遍历边做额外处理

日常处理字符串列表、数字列表、元组列表,字典键写法基本够用,也最不容易写错。循环写法的价值有两个:一是元素不可哈希时它能顶上,二是遍历过程中往往还要顺便做别的事,比如统一大小写、跳过空值、记录重复次数,这时候循环结构更容易扩展。

可哈希这个限制到底卡在哪

字典的键和集合的元素都要求可哈希。整数、浮点数、字符串、布尔值、元组(内部元素也都可哈希)满足这个条件;列表、字典、集合本身不可哈希。

所以当列表里嵌套了列表时,字典键写法会直接抛出错误:

data = [[1, 2], [3, 4], [1, 2]]
result = list(dict.fromkeys(data))

运行后会得到 TypeError: unhashable type: 'list',提示的正是列表不能作为字典键。遇到这种情况,处理思路是先把元素转换成可哈希的形式再判断。例如把内层列表转成元组,去重之后再转回来:

data = [[1, 2], [3, 4], [1, 2]]
result = [list(item) for item in dict.fromkeys(tuple(x) for x in data)]

print(result)  # [[1, 2], [3, 4]]

这种转换的前提是内层结构能被元组表达,也就是里面不能再嵌列表或字典。如果元素结构比较随意,直接回到循环写法,用相等比较判断,虽然慢一些,但不需要对数据做任何改造。

别指望 set 帮你保序

顺带提醒一个常见误区:list(set(某个列表)) 确实能去重,但元素顺序没有保证。看起来偶尔有序,只是因为元素的哈希值恰好让它们落在了一起,换一批数据或者换个运行环境就可能变样。只要顺序是需求的一部分,就不应该依赖这种写法。

反过来,如果去重是唯一目标、顺序完全无所谓,用集合反而更直接,len(set(数据)) 这种统计用法也很常见。判断标准就是问自己一句:输出顺序会不会被人看到或者被后续代码依赖。

原列表要不要动

前面两种写法都是“生成新列表”,原数据保持不变。这在多数场合是好事,调试时能对照处理前后的结果。

如果确实希望就地更新,可以把结果切片赋值回原变量:

words = ["apple", "banana", "apple", "cherry"]
words[:] = dict.fromkeys(words)
print(words)  # ['apple', 'banana', 'cherry']

用切片赋值而不是直接 words = ...,是为了保留原列表对象本身,其他仍指向这个列表的变量会同步看到变化。如果别处还持有这个列表的引用,这一点值得先想清楚,避免出现意料之外的联动。

选择方法的顺序可以简化成这样:先看元素能不能哈希,能就用 dict.fromkeys 一行解决;不能就用循环加相等比较;如果数据量大且元素可哈希、同时遍历时还要做额外处理,则用集合记录已见元素、列表保存结果的组合写法。三种路径覆盖了绝大多数实际场景,剩下的只是按需微调。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享