Hw 3

[kwillon]

Построенная сложна модель - рандомный лес, были найдены гиперпараметры с помощью GridSearch и Optune, было сравнение предсказания до и после использования гиперпараметров. Были использованы визуализации из optuna и shap. Были интерпретированы результаты проделанной работы.

[pacifikus]

Добрый день!

Спасибо за работу! Оставлю несколкьо комментариев:

• В гит стоит пушить ноутбуки без ошибок:
  
• В части задания с подбором гиперпараметров предполагалось, что будет выбрана более сложная модель - ансамбль типа случайного леса или бустинга
• Не совсем понятно. какое отношение модель, обученная на искусственном датасете имеет к текущей работе:
  
  И дальше подбор гиперпараметров происходит для какое-то посторонней выборки. Видимо эта часть просто скопирована из ноутбука с занятия. И параметры модели, обученной на другой выборке почти наверное не являются оптимальными для вашей задачи
• Так как у нас всего две подходящие модели, а именно RandomForest и CategoricalDistribution. - CategoricalDistribution - это не модель, а класс optuna для реализации выбора значения из списка во время подбора гиперпараметров...
• Как можно заметить значения RMSE до и после GridSearch почти одинаковые - у вас задача бинарной классификации, и до этого вы смотрели на accuracy/precision/recall, как вдруг снова возникла метрика регрессии - непонятно. RMSE в принципе не дает корректных интерпретируемых результатов подсчета в задачах классификации.
• как мы помним максимальная глубина нашего леса может быть только 8... - немного не уловила, почему она может быть только 8?
• Ну и в целом, если бы подбор гиперпараметров был произведен на нужной выборке, optuna бы дала вам лучший набор гиперпараметров, нет нужды после нее снова подбирать что-то полным перебором

Резюмируя, хочется рекомендовать чуть более внимательно проверить, на каких данных, в каком порядке и зачем у вас происходят те или иные операции