Найти: GROUP BY ключ HAVING COUNT(*) > 1. Оставить последнюю версию: пронумеровать строки внутри ключа ROW_NUMBER() OVER (PARTITION BY ключ ORDER BY updated_at DESC) и взять rn = 1 — в выборке или в DELETE с этим условием.
А ещё В ClickHouse для этого есть ReplacingMergeTree и argMax
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Откуда дубли: повторная доставка событий (at-least-once), повторный импорт файла, отсутствие уникального ограничения, разный регистр или пробелы в ключе (Ivan@Mail.ru и ivan@mail.ru).
Порядок действий: уточнить ключ уникальности и правило выбора версии → посмотреть масштаб (сколько групп с дублями) → проверить нормализацию ключа (lower, trim) → удалить или исключить в витрине → добавить ограничение UNIQUE или дедупликацию на загрузке, чтобы дубли не вернулись.
Аналитика по событиям: события дедуплицируют по event_id, а не по содержимому — два одинаковых клика подряд могут быть настоящими.
sotto-- найти
SELECT email, COUNT(*) FROM users GROUP BY email HAVING COUNT(*) > 1;
-- оставить последнюю версию в запросе
SELECT * FROM (
SELECT u.*, ROW_NUMBER() OVER (PARTITION BY email
ORDER BY updated_at DESC, id DESC) AS rn
FROM users u
) t WHERE rn = 1;
-- удалить лишние (PostgreSQL)
DELETE FROM users WHERE id IN (
SELECT id FROM (
SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY updated_at DESC, id DESC) rn
FROM users) t
WHERE rn > 1);sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.