Оценка качества датасетов

# Оценка качества датасетов

Качество датасета напрямую влияет на надежность и безопасность моделей на следующих этапах.

## Ключевые проверки

- Согласованность разметки между аннотаторами.
- Покрытие краевых и редких случаев.
- Предотвращение утечек между train и test выборками.
- Проверка лицензий и требований по приватности.

## Минимальный pipeline

1. Запустить валидацию схемы.
2. Найти дубликаты и почти дубликаты.
3. Оценить дисбаланс классов.
4. Публиковать с краткой заметкой об известных ограничениях.

## Управление изменениями

Храните каждую ревизию датасета как отдельную slug-запись, чтобы вносить точечные изменения без глобальной пересборки структуры.