哈希值是128位的，只要其中1位不同，就不是重复的。
所以，不用太复杂的比较算法，只要抽取其中一部分进行比对就行了。
比如，只比较每个哈希值的低64位。这样能过滤掉大部分值。

硬盘最好是2个，避免读写冲突。
第二个空硬盘当作平坦空间用，用来标记重复值，而不是把哈希值从A盘复制出来。

之前做过去除几百G的DNA序列中的重复序列，感觉和这个问题类似（假设你的文件一行一个hash），buffsize给的是30G（在集群上跑了一天），不知道你这个512M要跑多久...

不知我是否对那1TB数据真正理解，我按你的方法算出来的空间要求远大于你的空间限制，但时间远小于你的估计。
考虑MD5为最优存储方案，则每个MD5占用的硬盘空间为$$frac{log_{2}1632}{8}=16$$，如此，整个1TB硬盘中约有$$610^{10}$$个MD5。
按你的方法，在平均情况下，空间占用为1TB/256(4GB)，超过了256MB的限制。何况MD5首两个字母的分布不一定是平均的，所以这个值可能会更大。
但是计算时间，我得出来的答案约为16h，算上IO的开销及分类准备，怎么也不可能超过两天。
当然，理论上分类没必要这么麻烦，直接外部排序并线性去重来的更方便。且你的方法复杂度为$$O(nklog_{2}frac{n}{k})(k=256)$$，直接方法为$$O(nlog_{2}n)$$，所以在理论复杂度上后者也更低。但是加上磁盘IO等因素，孰优孰劣我可不能妄加定论了。
所谓

1.我觉得这类问题出现频率很高的，比如面试，笔试题中，所以一般Google一把，都能找到比较详细的答案的。
2.hash去重应该可以用这个算法Bloom Filter

这个得用布隆过滤器

直接用Hadoop行不行~