40亿个QQ号，限制1G内存，如何去重？

主要观点总结

本文主要介绍了如何使用位图（BitMap）和布隆过滤器（Bloom Filter）处理40亿个QQ号去重的问题，并详细阐述了布隆过滤器的原理、应用场景以及Java中的实现方式。

关键观点总结

关键观点1: 位图（BitMap）的应用

使用位图对40亿个QQ号进行存储，每个数字只占用1个bit，大大节省了存储空间。

关键观点2: 布隆过滤器的原理

布隆过滤器通过多个哈希函数将一个元素映射到多个位，并将这些位设置为1。查询时，如果这些位都被设置为1，则认为元素可能存在于集合中。它存在误判的可能，但可以通过增加哈希函数数量来降低误判率。

关键观点3: 布隆过滤器的应用场景

布隆过滤器被广泛应用于网页爬虫、缓存系统、分布式系统、垃圾邮件过滤和黑名单过滤等场景，其高效性使得在这些场景中能够快速地判断一个元素是否属于某个集合。

关键观点4: 布隆过滤器在Java中的实现

Java中可以使用第三方库如Google Guava库、Apache Commons库以及Redis来实现布隆过滤器。这些库提供了创建布隆过滤器、插入元素、判断元素是否存在等功能的API。