image
Обновления

«Фактор» находит больше дубликатов, сохраняя прежнюю скорость

15.12.2022
2 мин

За 10 лет клиентские базы наших заказчиков выросли в 100 раз — с десятков до сотен миллионов записей. А у некоторых из них базы насчитывают уже миллиард клиентских записей. Бизнесу понадобился поиск дубликатов, который справляется с такими объемами «на лету».

Команда HFLabs полностью переписала алгоритм поиска дублей.

Алгоритм поиска дублей — это основная технология, с помощью которой «Фактор» ищет дублирующиеся записи. Но сравнивать каждую запись с каждой во всей базе слишком долго. Чтобы ускорить поиск, «Фактор» сначала готовит данные — собирает их в группы по любому признаку:

  • название компании,
  • фамилия,
  • ИНН,
  • адрес,
  • телефон.

Получается пачка записей-кандидатов в дубликаты. Внутри нее «Фактор» сравнивает каждую запись с каждой и находит дублирующиеся записи.

Раньше «Фактор» ограничивал размер группы потенциальных дубликатов, чтобы искать быстрее

Со старым алгоритмом дедупликации поиск дублей в группе более 3 тыс. записей занимал слишком много времени. Данные в таких больших группах — чаще всего мусорные, показывал опыт дедупликации прежних небольших клиентских баз.

IT-отделы порой создают технические дубли, чтобы отладить внутренние процессы. База из 10 млн клиентов может хранить несколько тысяч карточек условного «Теста Тестовича Тестова». Это бесполезные данные.

Поэтому «Фактор» отбрасывал группы более 3 тыс. записей кандидатов в дубликаты.

«Хорошие» дубликаты, которые могли остаться в отброшенных многотысячных пачках, «Фактор» находил позже. Тут помогали другие признаки: ФИО, адрес, паспортные данные.

«Фактор» отбросил собранную по номеру «+7 926 118 12 12» группу из 3 тыс. клиентских записей. Но нашел дубликаты из отброшенной пачки по другим признакам: по ФИО клиента, адресу или паспортным данным. Такую информацию страховщик вводит без ошибок, чтобы человек получил выплату по страховке.

Потеряться «хорошие» дубликаты могли, если попадали только в одну многотысячную группу, собранную по единственному признаку. В современной базе крупной B2B-компании «Фактор» легко наберет тысячи отделений «Сбера», «Ростелекома» или РЖД по одинаковому названию или ИНН.

Теперь «Фактор» работает с группами потенциальных дубликатов любого размера, не теряя скорости

Новый алгоритм поиска дублей работает на новой архитектуре, совсем по-другому хранит и обрабатывает данные. Поэтому количество записей в группе данных на дедупликацию больше не влияет на скорость дедапа.

Теперь «Фактор» работает без ограничения на количество записей-кандидатов в дубли в одной группе. Но если заказчики сохранят ограничение, то «Фактор» будет искать дубликаты быстрее на 9-20%.

А еще с обновленным «Фактором» заказчики могут докручивать скорость и точность дедупликации под свои задачи. Можно запустить «Фактор» с ограничением, скажем, на 500 записей в группе и на 2 тысячи. Потом проанализировать, потерялись ли дубли с полезными данными, с какой скоростью прошел дедап и решить, какая точность и скорость лучше всего подойдут для бизнес-процессов.

Как получить обновление

Заказчики получают новый алгоритм поиска автоматически при обновлении «Фактора».

Обсудить статью
Выбор редакции
image
Полезное
Что представляет собой нормативная база по адресам в России: краткий обзор
Разбираемся, какие документы регулируют использование адресов в России и чем они могут быть полезны IT-специалистам
Татьяна Бунто
27.08.2024
4 мин.
image
Новости
АБД представила результаты тестирования риск-модели деобезличивания
Показали результаты тестирования модели оценки рисков повторной идентификации с использованием продукта для обезличивания данных «Маскировщик».
Алина Соломина
19.06.2024
2 мин.
image
Обновления
Масштабно обновили «Центр управления согласиями» (и внедрили AI)
Внедрили нулевое согласие, доработали визуализацию и сделали интеграцию с GPT.
Тимур Сафиуллин
22.04.2024
1 мин.
image
Новости
HFLabs теперь по-новому работает с интеграторами. Что? Да!
Рады объявить: мы готовы передать часть наших новых продуктов — «коробок» системным интеграторам на дистрибуцию.
Екатерина Илюхина
27.02.2024
1 мин.
image
Полезное
10 самых частых вопросов о «Маскировщике»
Подготовили ответы на вопросы, которые нам чаще всего задают на демо-сессиях и пресейлах по «Маскировщику».
Ольга Сердобинцева
11.09.2023
3 мин.