腾讯三面:40亿个qq号码如何去重复登录

今天,我们来聊一道常见的考题,也出现在腾讯面试的三面环节,非常有意思。具体的题目如下:

文件中有40亿个QQ号码,请设计算法对QQ号码去重,相同的QQ号码仅保留一个,内存限制1G.

这个题目的意思应该很清楚了,比较直白。为了便于大家理解,我来画个动图玩玩,希望大家喜欢。

腾讯三面:40亿个QQ号码如何去重?

能否做对这道题目,很大程度上就决定了能否拿下腾讯的offer,有一定的技巧性,一起来看下吧。

在原题中,实际有40亿个QQ号码,为了方便起见,在图解和叙述时,仅以4个QQ为例来说明。

方法一:排序

很自然地,最简单的方式是对所有的QQ号码进行排序,重复的QQ号码必然相邻,保留第一个,去掉后面重复的就行。

原始的QQ号为:

腾讯三面:40亿个QQ号码如何去重?

排序后的QQ号为:

腾讯三面:40亿个QQ号码如何去重?

去重就简单了:

腾讯三面:40亿个QQ号码如何去重?

可是,面试官要问你,去重一定要排序吗?显然,排序的时间复杂度太高了,无法通过腾讯面试。

方法二:hashmap

既然直接排序的时间复杂度太高,那就用hashmap吧,具体思路是把QQ号码记录到hashmap中:

mapFlag[123] = truemapFlag[567] = truemapFlag[123] = truemapFlag[890] = true

由于hashmap的去重性质,可知实际自动变成了:

mapFlag[123] = truemapFlag[567] = truemapFlag[890] = true

很显然,只有123,567,890存在,所以这也就是去重后的结果。

可是,面试官又要问你了:实际要存40亿QQ号码,1G的内存够分配这么多空间吗?显然不行,无法通过腾讯面试。

方法三:文件切割

显然,这是海量数据问题。看过很多面经的求职者,自然想到文件切割的方式,避免内存过大。

可是,绞尽脑汁思考,要么使用文件间的归并排序,要么使用桶排序,反正最终是能排序的。

既然排序好了,那就能实现去重了,貌似就万事大吉了。我只能坦白地说,高兴得有点早哦。

接着,面试官又要问你:这么多的文件操作,效率自然不高啊。显然,无法通过腾讯面试。

方法四:bitmap

来看绝招!我们可以对hashmap进行优化,采用bitmap这种数据结构,可以顺利地同时解决时间问题和空间问题。

在很多实际项目中,bitmap经常用到。我看了不少组件的源码,发现很多地方都有bitmap实现,bitmap图解如下:

腾讯三面:40亿个QQ号码如何去重?

这是一个unsigned char类型,可以看到,共有8位,取值范围是[0, 255],如上这个unsigned char的值是255,它能标识0~7这些数字都存在。

同理,如下这个unsigned char类型的值是254,它对应的含义是:1~7这些数字存在,而数字0不存在:

腾讯三面:40亿个QQ号码如何去重?

由此可见,一个unsigned char类型的数据,可以标识0~7这8个整数的存在与否。以此类推:

  • 一个unsigned int类型数据可以标识0~31这32个整数的存在与否。
  • 两个unsigned int类型数据可以标识0~63这64个整数的存在与否。

显然,可以推导出来:512MB大小足够标识所有QQ号码的存在与否,请注意:QQ号码的理论最大值为2^32 – 1,大概是43亿左右。

接下来的问题就很简单了:用512MB的unsigned int数组来记录文件中QQ号码的存在与否,形成一个bitmap,比如:

bitmapFlag[123] = 1bitmapFlag[567] = 1bitmapFlag[123] = 1bitmapFlag[890] = 1

实际上就是:

bitmapFlag[123] = 1bitmapFlag[567] = 1bitmapFlag[890] = 1

然后从小到大遍历所有正整数(4字节),当bitmapFlag值为1时,就表明该数是存在的。

而且,从上面的过程可以看到,自动实现了去重。显然,这种方式可以通过腾讯的面试。

腾讯三面:40亿个QQ号码如何去重?

扩展练习一

文件中有40亿个互不相同的QQ号码,请设计算法对QQ号码进行排序,内存限制1G.

很显然,直接用bitmap, 标记这40亿个QQ号码的存在性,然后从小到大遍历正整数,当bitmapFlag的值为1时,就输出该值,输出后的正整数序列就是排序后的结果。

请注意,这里必须限制40亿个QQ号码互不相同。通过bitmap记录,客观上就自动完成了排序功能。

扩展练习二

文件中有40亿个互不相同的QQ号码,求这些QQ号码的中位数,内存限制1G.

我知道,一些刷题经验丰富的人,最开始想到的肯定是用堆或者文件切割,这明显是犯了本本主义错误。直接用bitmap排序,当场搞定中位数。

扩展练习三

文件中有40亿个互不相同的QQ号码,求这些QQ号码的top-K,内存限制1G.

我知道,很多人背诵过top-K问题,信心满满,想到用小顶堆或者文件切割,这明显又是犯了本本主义错误。直接用bitmap排序,当场搞定top-K问题。

扩展练习四

文件中有80亿个QQ号码,试判断其中是否存在相同的QQ号码,内存限制1G.

我知道,一些吸取了经验教训的人肯定说,直接bitmap啊。然而,又一次错了。根据容斥原理可知:

因为QQ号码的个数是43亿左右(理论值2^32 – 1),所以80亿个QQ号码必然存在相同的QQ号码。

海量数据的问题,要具体问题具体分析,不要眉毛胡子一把抓。有些人完全不刷题,肯定不行。有些人刷题后不加思考,不会变通,也是不行的。好了,先说这么多。我们也会一步一个脚印,争取每篇文章讲清讲透一件事,也希望大家阅读后有所收获,心情愉快。

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:dandanxi6@qq.com

(0)
上一篇 2023年 3月 9日 下午12:34
下一篇 2023年 3月 9日 下午12:41

相关推荐

  • 同一手机号可注册两个微信号吗

    相信大家都知道,自从多年前微信关闭了QQ和邮箱来注册微信号的渠道后,想要注册新微信就只能通过手机号来验证注册,而且一个手机号只能够注册一个微信号,如果你想注册多个微信号,那么就只能…

    2023年 7月 15日
  • 直径符号怎么输入

    数学几何里面有一个比较常见的符号,那就是直径符号,这种符号用笔容易写,但是在电脑上面是怎么输入的呢,我们就来看看这个符号怎么打出来 1:我们可以通过复制的方法快速获得这个符号 φ …

    2023年 4月 25日
  • 苹果手机id锁到底是怎么被解掉的

    众所周知,在苹果设备上,都可以申请一个账户用来云备份手机上的资料,这个账户苹果公司把它叫Apple ID,它不仅可以备份资料,也具有定位还有支付等等功能。它最强大之处还是它的安全性…

    2023年 2月 3日
  • 315来了谁来守护购彩者的权益

    一年一度的“315” 国际消费者权益日如期而来 每年这个时候 各个行业大大小小的 “投诉”就会走上“热搜” 随着消费者维权意识的增强 购物、旅行、餐饮等 多种消费形式中的“套路” …

    2024年 1月 4日
  • 移动充q币怎么充(移动手机号可以充值q币吗)

    移动手机怎么充Q币呢?现在教你一招,让你随时随地想充就充。 网络上的虚拟货币是越来越火,不过要说最大名鼎鼎的,还是要数腾讯的Q币了。 腾讯Q币,通过购买QQ卡,电话充值,银行卡充值…

    数码教程 2023年 8月 16日
  • 手机突然显示无sim卡是什么意思啊

    大家有没经历过明明SIM卡在卡槽里放得好好的,手机却突然显示无SIM卡的状况?没有了SIM卡手机就失去了灵魂,打电话、上网的功能都不能用了。这到底是怎么一回事儿?让小翼帮你来解答~…

    2024年 1月 1日
  • htcm8升级win10教程

    中关村在线消息:继之前传出消息Verizon开始对自家HTC One M8机型升级WP 8.1 GDR2系统后,最近美国运营商AT&T也有了动作,即将开始为运行WP系统的O…

    2023年 1月 27日
  • 更换红米手机送话器需要原装吗(红米note 7送话器维修)

    现实中很多朋友有工具,例如万用表与烙铁。例如手机送话器坏了,完全可以自己在家,用自己的简易工具来自己维修。本文属于DIY改造,真正的维修时更换的是与原厂一样的送话器。 今天呢,鼎盛…

    2023年 11月 14日
  • 手机不会截屏教你六种截屏方法,荣耀手机如何长截屏和滚动截屏

    现在越来越多的人支持国货,生活中的衣食住行也越来越多的选择我们自己的品牌,这其中就包含手机,近几年国内的科技制造业越来越强,就拿现在人手一部的手机来说,国内的手机不管是系统,质量,…

    2023年 5月 22日
  • 华为手表步数和微信步数怎么同步

    使用华为手表走步时,步数如何同步到微信上?下面就来教大家华为手表步数同步微信方法。 HarmonyOS/安卓系统手机用户 打开华为运动健康App,点击 我的 > 隐私管理 &…

    2023年 7月 26日