列表去重本身不难,难的是去完之后顺序还在。很多人第一反应是 set(),结果发现元素顺序被打乱,回头还得再排一次序,而排序又会改变原来的排列。要既去掉重复元素,又保住第一次出现的先后次序,常见做法有两种:用字典键去重,或者用循环逐个检查。两种写法都不复杂,区别主要在元素类型和性能上。
先说结论性的判断:如果列表里的元素是可以哈希的(数字、字符串、元组等),优先用字典键;如果元素不可哈希(列表、字典、集合等),循环比较是更稳妥的退路。
用字典键去重
字典的键不允许重复,而现代 Python 版本中字典又保持着插入顺序,这两条性质正好凑成一次去重。dict.fromkeys() 会用序列中的每个元素作为键创建字典,重复的元素自然被合并,剩下的键顺序就是元素第一次出现的顺序。
words = ["apple", "banana", "apple", "cherry", "banana", "date"]
result = list(dict.fromkeys(words))
print(words) # ['apple', 'banana', 'apple', 'cherry', 'banana', 'date']
print(result) # ['apple', 'banana', 'cherry', 'date']
处理前后放在一起看就很清楚:原列表 words 一个元素都没少,重复项仍在原位;新列表 result 只保留了每个元素第一次出现的位置,后面的重复项被丢弃。从输出可以看出,cherry 之所以排在 date 前面,是因为它先出现,而不是因为字母顺序。
这种写法短,读起来也不费劲,实际项目里用得最多。需要注意的一点是,它返回的是一个新的列表对象,对原列表没有任何影响。
用循环逐个检查
如果不想依赖字典,也可以自己维护一个结果列表,遍历原列表时判断当前元素是否已经收进去过。
words = ["apple", "banana", "apple", "cherry", "banana"]
result = []
for item in words:
if item not in result:
result.append(item)
print(result) # ['apple', 'banana', 'cherry']
这段代码的逻辑直白:只有没见过的元素才追加。代价在于 item not in result 每次都要把已有结果从头比对一遍,元素一多,比较次数会明显上升。
如果既要保持这种逐个判断的写法,又不想每次都全量比对,可以额外维护一个集合记录已经出现过的元素:
words = ["apple", "banana", "apple", "cherry", "banana"]
seen = set()
result = []
for item in words:
if item not in seen:
seen.add(item)
result.append(item)
print(result) # ['apple', 'banana', 'cherry']
这里集合只负责“见过没有”的判断,结果列表负责保持顺序,各管一件事。判断从逐个比对变成了一次哈希查找,元素较多时差别会比较明显。
两种写法怎么选
把关键差异列出来对照会更直观:
| 对比项 | 字典键 dict.fromkeys | 循环检查 |
|---|---|---|
| 代码长度 | 一行完成 | 需要若干行循环 |
| 元素要求 | 必须可哈希 | 用列表比较时不限制类型 |
| 顺序 | 保留首次出现顺序 | 保留首次出现顺序 |
| 是否改动原列表 | 不改动,返回新列表 | 不改动,返回新列表 |
| 适合场景 | 数字、字符串、元组等常见元素 | 元素不可哈希,或需要边遍历边做额外处理 |
日常处理字符串列表、数字列表、元组列表,字典键写法基本够用,也最不容易写错。循环写法的价值有两个:一是元素不可哈希时它能顶上,二是遍历过程中往往还要顺便做别的事,比如统一大小写、跳过空值、记录重复次数,这时候循环结构更容易扩展。
可哈希这个限制到底卡在哪
字典的键和集合的元素都要求可哈希。整数、浮点数、字符串、布尔值、元组(内部元素也都可哈希)满足这个条件;列表、字典、集合本身不可哈希。
所以当列表里嵌套了列表时,字典键写法会直接抛出错误:
data = [[1, 2], [3, 4], [1, 2]]
result = list(dict.fromkeys(data))
运行后会得到 TypeError: unhashable type: 'list',提示的正是列表不能作为字典键。遇到这种情况,处理思路是先把元素转换成可哈希的形式再判断。例如把内层列表转成元组,去重之后再转回来:
data = [[1, 2], [3, 4], [1, 2]]
result = [list(item) for item in dict.fromkeys(tuple(x) for x in data)]
print(result) # [[1, 2], [3, 4]]
这种转换的前提是内层结构能被元组表达,也就是里面不能再嵌列表或字典。如果元素结构比较随意,直接回到循环写法,用相等比较判断,虽然慢一些,但不需要对数据做任何改造。
别指望 set 帮你保序
顺带提醒一个常见误区:list(set(某个列表)) 确实能去重,但元素顺序没有保证。看起来偶尔有序,只是因为元素的哈希值恰好让它们落在了一起,换一批数据或者换个运行环境就可能变样。只要顺序是需求的一部分,就不应该依赖这种写法。
反过来,如果去重是唯一目标、顺序完全无所谓,用集合反而更直接,len(set(数据)) 这种统计用法也很常见。判断标准就是问自己一句:输出顺序会不会被人看到或者被后续代码依赖。
原列表要不要动
前面两种写法都是“生成新列表”,原数据保持不变。这在多数场合是好事,调试时能对照处理前后的结果。
如果确实希望就地更新,可以把结果切片赋值回原变量:
words = ["apple", "banana", "apple", "cherry"]
words[:] = dict.fromkeys(words)
print(words) # ['apple', 'banana', 'cherry']
用切片赋值而不是直接 words = ...,是为了保留原列表对象本身,其他仍指向这个列表的变量会同步看到变化。如果别处还持有这个列表的引用,这一点值得先想清楚,避免出现意料之外的联动。
选择方法的顺序可以简化成这样:先看元素能不能哈希,能就用 dict.fromkeys 一行解决;不能就用循环加相等比较;如果数据量大且元素可哈希、同时遍历时还要做额外处理,则用集合记录已见元素、列表保存结果的组合写法。三种路径覆盖了绝大多数实际场景,剩下的只是按需微调。








