Java中List去重的N种方法:从基础到优雅

经验文章nimo972025-05-03 15:07:253A⁺A^-

Java中List去重的N种方法：从基础到优雅

在日常的Java开发中，我们经常会遇到需要对List集合去重的情况。无论是为了清理重复的数据，还是为了优化算法性能，掌握多种去重方式都是一项非常实用的技能。今天我们就来探讨一下Java中实现List去重的各种方法，从基础的双循环暴力法，到利用现代API的优雅实现，让你全面掌握去重的艺术！

方法一：经典的双循环暴力法

最直观的方法就是使用双重循环遍历List，然后逐一比较元素是否重复。如果发现重复的元素，就将其移除。这种方法虽然简单粗暴，但在数据量较大的情况下效率较低。

public static List<String> removeDuplicates(List<String> list) {
    for (int i = 0; i < list.size(); i++) {
        for (int j = i + 1; j < list.size(); j++) {
            if (list.get(i).equals(list.get(j))) {
                list.remove(j);
                j--; // 移除后需要调整索引
            }
        }
    }
    return list;
}

优点：实现简单，不需要额外的内存开销。缺点：效率低，尤其是当List较大时，可能会导致性能瓶颈。

方法二：利用HashSet的高效去重

利用HashSet的特性可以快速去重。因为HashSet不允许存储重复的元素，所以我们可以将List中的元素添加到HashSet中，然后再将HashSet转换回List。

import java.util.HashSet;
import java.util.List;
import java.util.ArrayList;

public static List<String> removeDuplicates(List<String> list) {
    HashSet<String> set = new HashSet<>(list);
    return new ArrayList<>(set);
}

优点：效率高，适合大数据量场景。缺点：无法保留原始顺序，可能需要额外步骤来恢复顺序。

方法三：借助Stream API优雅去重

Java 8引入的Stream API为我们提供了更加简洁的方式来处理集合操作。通过distinct()方法可以轻松实现去重。

import java.util.List;
import java.util.stream.Collectors;

public static List<String> removeDuplicates(List<String> list) {
    return list.stream().distinct().collect(Collectors.toList());
}

优点：代码简洁，易于阅读和维护。缺点：底层依然依赖HashSet，可能会改变顺序。

方法四：自定义排序后的去重

如果需要保留原始顺序并且去重，可以通过自定义排序的方式实现。首先对List按照元素进行排序，然后遍历并移除重复项。

import java.util.Collections;

public static List<String> removeDuplicates(List<String> list) {
    Collections.sort(list);
    int index = 0;
    for (int i = 1; i < list.size(); i++) {
        if (!list.get(index).equals(list.get(i))) {
            index++;
            list.set(index, list.get(i));
        }
    }
    return list.subList(0, index + 1);
}

优点：可以保留原始顺序。缺点：需要额外的空间来存储中间结果。

方法五：利用LinkedHashSet保持顺序

LinkedHashSet结合了HashSet的去重功能和LinkedList的有序特性，非常适合既要去重又要保持插入顺序的场景。

import java.util.LinkedHashSet;
import java.util.List;
import java.util.ArrayList;

public static List<String> removeDuplicates(List<String> list) {
    LinkedHashSet<String> set = new LinkedHashSet<>(list);
    return new ArrayList<>(set);
}

优点：保持插入顺序，去重效率高。缺点：需要额外的内存来存储LinkedHashSet。

方法六：使用Guava库的工具类

如果你的项目已经使用了Google的Guava库，那么可以利用其中的ImmutableSet来实现去重。

import com.google.common.collect.ImmutableSet;

public static List<String> removeDuplicates(List<String> list) {
    return ImmutableSet.copyOf(list).asList();
}

优点：功能强大且稳定。缺点：需要引入外部库。

方法七：递归实现去重

虽然不推荐，但作为一种练习，我们可以尝试用递归来实现去重。

public static List<String> removeDuplicates(List<String> list) {
    if (list == null || list.isEmpty()) {
        return list;
    }
    List<String> result = new ArrayList<>();
    String first = list.get(0);
    result.add(first);
    List<String> subList = removeDuplicates(list.subList(1, list.size()));
    if (!subList.isEmpty() && !subList.get(0).equals(first)) {
        result.addAll(subList);
    }
    return result;
}

优点：锻炼递归思维。缺点：效率低，容易造成栈溢出。