解決方案
如果序列上的值都是 hashable 類型豪治,那么可以很簡單的利用集合或者生成器來解決這個問題。比如:
def dedupe(items):
seen = set()
for item in items:
if item not in seen:
yield item
seen.add(item)
>>> a = [1, 5, 2, 1, 9, 1, 5, 10]
>>> list(dedupe(a))
[1, 5, 2, 9, 10]
>>>
這個方法僅僅在序列中元素為 hashable 的時候才管用扯罐。 如果你想消除元素不可哈希(比如 dict 類型)的序列中重復(fù)元素的話负拟,你需要將上述代碼稍微改變一下,就像這樣:
def dedupe(items, key=None):
seen = set()
for item in items:
val = item if key is None else key(item)
if val not in seen:
yield item
seen.add(val)
#這里的key參數(shù)指定了一個函數(shù)歹河,將序列元素轉(zhuǎn)換成 hashable 類型掩浙。下面是它的用法示例:
>>> a = [ {'x':1, 'y':2}, {'x':1, 'y':3}, {'x':1, 'y':2}, {'x':2, 'y':4}]
>>> list(dedupe(a, key=lambda d: (d['x'],d['y'])))
[{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]
>>> list(dedupe(a, key=lambda d: d['x']))
[{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]
>>>