Удаление дубликатов строк в двух txt/парсер с возможностью удаление дубликатов

Добрый день! Работаю с базами данных (txt-файлы со списком цифр (5-6 цифр в строчку), кол-во строчек 200 и более). Каждый день приходит новый txt (новая база), но попадаются одинаковые цифры. Надо чтобы программа сравнивала всю базу (можно все сливать в один txt или как-то еще реализовать) и в конечный файл...