Added new initil assumptions with boostings

[dmitryglhf]

This is a 🔨 code refactoring.

Summary

• New Initial Assumptions: Updated initial assumptions by adding boosting-based solutions (CatBoost, XGBoost, LightGBM).

  Comparison table between old and new assumptions (validated on automlbenchmark small dataset 1h8c):

  	Metric (mean)	main (Random Forest first)	new (GBM joined with Linear model)
  0	auc	0.869263	0.879746
  1	acc	0.84667	0.852339
  2	balacc	0.805336	0.822745
  3	logloss	0.449189	0.377827
  4	training_duration, s	242.554	251.445

Context

Closes #1341

[pep8speaks]

Hello @dmitryglhf! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

There are currently no PEP 8 issues detected in this Pull Request. Cheers! 🍻

Comment last updated at 2025-01-23 15:41:19 UTC

[dmitryglhf]

/fix-pep8

[github-actions]

All PEP8 errors has been fixed, thanks ❤️

Comment last updated at Sat, 01 Feb 2025 13:37:30

[dmitryglhf]

Discovered three most useful assumptions.

	Metric (mean)	main (Random Forest first)	gbm_linear	xgb_lgbm_linear	rf_in_fork
0	auc	0.869263	0.879746	0.877597	0.878225
1	acc	0.84667	0.852339	0.848727	0.85005
2	balacc	0.805336	0.822745	0.818386	0.819006
3	logloss	0.449189	0.377827	0.392734	0.396282
4	training_duration	242.554	251.445	213.057	246.447

Pipelines and full comparison table

1. GBM_Linear
   

2. XGB_LGBM_Linear
   

3. RF_in_Fork
   

Full comparison table: full_comparison.xlsx

Full tables for each pipeline:
gbm_catboost_new_params.csv
main_rf.csv
rf_in_fork.csv

[codecov]

Codecov Report

All modified and coverable lines are covered by tests ✅

Project coverage is 80.69%. Comparing base (d87ace3) to head (80ce88d).

Additional details and impacted files

@@            Coverage Diff             @@
##           master    #1359      +/-   ##
==========================================
+ Coverage   80.17%   80.69%   +0.52%     
==========================================
  Files         146      146              
  Lines       10515    10515              
==========================================
+ Hits         8430     8485      +55     
+ Misses       2085     2030      -55     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[dmitryglhf]

@nicl-nno Среди трех начальных приближений стоит оставить все или же только то, которое улучшает метрики больше остальных?

[nicl-nno]

Среди трех начальных приближений стоит оставить все или же только то, которое улучшает метрики больше остальных?

Зависит от того, меняется ли лидер при смене группы датасетов. Если везде +-один вариант доминирует - то можно его иоставить.

[dmitryglhf]

Looks like FEDOT mostly choosing and modifyinggbm_linear assumption.

Details

Binary classification:

binary_class_datasets = [
    'blood-transf.arff.csv', 'christine.arff.csv', 'jasmine.arff.csv',
    'phoneme.arff.csv', 'sylvine.arff.csv',
]

Multiclass classification:

multi_class_datasets = [
    'car.arff.csv', 'cnae-9.arff.csv', 'dilbert.arff.csv', 'fabert.arff.csv',
    'mfeat-factors.arff.csv', 'segment.arff.csv', 'vehicle.arff.csv'
]

Regression:

regression_datasets = [
    'analcatdata_negotiation.arff.csv', 'bodyfat.arff.csv', 'cleveland.arff.csv', 
    'cloud.arff.csv', 'kin8nm.arff.csv', 'liver-disorders.arff.csv'
]

Logs:
class_compare_datasets.log
regr_compare_datasets.log

[nicl-nno]

Looks like FEDOT mostly choosing and modifyinggbm_linear assumption

А это хорошо или плохо?

[dmitryglhf]

Looks like FEDOT mostly choosing and modifyinggbm_linear assumption

А это хорошо или плохо?

Это промежуточное сообщение, чтобы не потерять результаты, хотел по нему задать вопрос.
В нем сравнение какое начальное приближение доминирует. В задачах классификации преимущественно выбирается за основу или как итоговое решение первый пайплайн gbm_linear.
В случае с регрессией похоже за основу берется тот же пайплайн, но при этом он сильно меняется. Может быть стоит оставить текущее приближение rfr?

Regression:

regression_datasets = [
    'analcatdata_negotiation.arff.csv', 'bodyfat.arff.csv', 'cleveland.arff.csv', 
    'cloud.arff.csv', 'kin8nm.arff.csv', 'liver-disorders.arff.csv'
]

Logs: regr_compare_datasets.log