Grid Search med MLflow

Fordele ved Grid Search

• Automatiseret hyperparameterjustering: Grid search automatiserer hyperparameter tuning, som tillader systematisk udforskning uden manuel forsøg og fejl.
• Reproducerbarhed: Gittersøgning sikrer testvaliditet ved reproducerbar at opnå de reproducerbare resultater, hvilket forbedrer kommunikation og pålidelighed.
• Udtømmende søgning: GS finder effektivt optimale hyperparametre for en model ved udtømmende at søge efter kombinationer.
• Robusthed: Grid search er en robust teknik, der er modstandsdygtig over for datastøj, hvilket reducerer overfitting.
• Enkel at bruge: Gittersøgning er enkel at bruge og forstå, hvilket gør det til en brugbar metode til tuning af hyperparameter.
• Modelsammenligninger: Gittersøgning forenkler valget af modelsammenligning og evalueringsmetrikker.

Ulemper ved Grid Search

• Beregningsomkostninger: Gittersøgning er beregningsmæssigt dyrt for at tune et stort antal hyperparametre.
• Tidskrævende: Det er tidskrævende for komplekse hyperparameterjusteringer.
• Ikke altid nødvendigt: Det er nu altid påkrævet; tilfældig søgning er det bedste alternativ til det.

Eksempel: Find de bedste modelindstillinger for universitetsadgangssystemet

Lad os se på et gittersøgningseksempel for hyperparameterjustering inden for rammerne af et online universitetsoptagelsessystem. I dette eksempel bruger vi scikit-learn og en ligetil Gradient Boosting Classifier (GBC) klassifikator til at forudsige en studerendes sandsynlighed for at blive optaget på et universitet baseret på faktorer som GPA-point, SAT-score, ACT-score og aktiviteter uden for pensum. Flere muligheder er tilgængelige for netsøgning i stedet for GBC, herunder logistisk regression (LR), SVM (Support Vector Machine) osv.

Generer tilfældige data til onlineadgangssystem ved hjælp af MLflow til gittersøgning

Pythons Pandaer og tilfældige pakker kan bruges til at skabe et fiktivt datasæt til adgangssystemet. Med tilfældige værdier for kolonnerne APP_NO, GPA, SAT Score, ACT Score, Ekstracurricular Activities og Admission Status genererer denne kode et syntetisk adgangsdatasæt. Variablen num_students styrer, hvor mange rækker der er i datasættet.

Optagelsesstatussen er tilfældigt indstillet baseret på en acceptrate på 70 %, og det tilfældige modul bruges til at producere tilfældige værdier for flere kolonner. Til demonstrationsformål opretter følgende kodestykke et falsk adgangsdatasæt med tilfældige værdier og gemmes i filen std_admission_dataset.csv:

Kodestykke:

Kodeudførelse:

Brug Python-kommandoen til at kompilere koden, og brug derefter pip-kommandoen til at installere et specifikt modul, hvis du støder på en modulfejl. Brug kommandoen pip3 install til at installere det givne bibliotek, hvis Python er version 3.X eller nyere.

Vellykket udførelse:

Eksempel på dataskærmbillede:

Trin 1: Importer bibliotekerne

• MLflow-biblioteket til sporing af maskinlæringseksperimenter
• Pandas-biblioteket til håndtering af databehandling og analyse samt mlflow.sklearn-pakken til integration af Scikit-Learn-modellerne
• Den fjerde linje importerer 'advarsler'-biblioteket for at undertrykke fejlene
• ParameterGrid-klassen til gittersøgning i sklearn.model_selection-modulet
• GridSearchCV og GradientBoostingClassifier fra henholdsvis sklearn.model_selection og ensemble til gridsøgning og gradientboostende klassificeringsmodeller
• Acracy_score og classification_report fungerer fra sklearn.metrics-modulet til at beregne modelnøjagtigheden og generere klassifikationsrapporter
• Koden importerer OS-modulet og sætter GIT_PYTHON_REFRESH miljøvariablen til stille.

Kodestykke:

Trin 2: Indstil sporings-URI

MLflow-serverens sporings-URI indstilles ved hjælp af mlflow.set_tracking_uri()-funktionen, hvilket sikrer en lokal maskine på port 5000 til eksperimenter og modeller.

Trin 3: Indlæs og klargør adgangsdatasættet

Importer Pandas-biblioteket som panda_obj til datamanipulation og -analyse. Read_csv()-funktionen anvendes til at indlæse adgangsdatasættet. Stien til datasættet er det eneste argument, der kræves af read_csv()-funktionen. Stien til datasættet i dette tilfælde er std_admission_dataset.csv. Ved at anvende funktionen read_csv() indlæses datasættet i en Pandas DataFrame.

Admission_Status kolonnen fra std_admissions_data DataFrame fjernes først af koden. Da denne kolonne indeholder målvariablen, er forbehandling ikke nødvendig.

Derefter opretter koden to nye variable: 'F' og 't'. Funktionerne er indeholdt i 'F'-variablen, mens målvariablen er indeholdt i 't'-variablen.

Dataene fordeles derefter i test- og træningssæt. Dette opnås ved hjælp af tts()-funktionen fra pakken sklearn.model_selection. Funktionerne, målvariablen, teststørrelsen og den tilfældige tilstand er de fire argumenter, der kræves af tts()-funktionen. Parameteren test_size angiver den del af dataene, der bruges til testformål. Da teststørrelsen i dette tilfælde er sat til 0,2, vil 20 % af dataene blive brugt til testen.

Valgmuligheden tilfældig_tilstand specificerer tilfældigt talgeneratorens frø. Dette gøres for at sikre, at dataene adskilles tilfældigt. Trænings- og testsættene er nu gemt i variablerne F_training, F_testing, t_training og t_testing. Disse sæt kan bruges til at evaluere og træne maskinlæringsmodellerne.

Kodestykke:

Trin 4: Indstil MLflow-eksperimentnavnet

Trin 5: Definer Gradient Boosting Classifier

Gradientforstærkende klassificeringsmodellen er nu gemt i gbc_obj-variablen. Adgangsdatasættet kan bruges til at teste og træne denne model. Værdien af ​​random_state-argumentet er 42. Dette garanterer, at modellen trænes ved at bruge nøjagtig det samme tilfældige talgenerator-seed, som gør resultaterne gentagelige.

Trin 6: Definer hyperparametergitteret

Koden opretter oprindeligt param_grid-ordbogen. Hyperparametrene, der justeres via gittersøgningen, er indeholdt i denne ordbog. Tre nøgler udgør param_grid-ordbogen: n_estimators, learning_rate og max_depth. Disse er den gradientforstærkende klassificeringsmodels hyperparametre. Antallet af træer i modellen er specificeret af hyperparameteren n_estimators. Modellens indlæringshastighed er specificeret via hyperparameteren learning_rate. Hyperparameteren max_depth definerer den højest mulige dybde af modellens træer.

Kodestykke:

Trin 7: Udfør Grid Search med MLflow Tracking

Koden itererer derefter over param_grid-ordbogen. For hvert sæt hyperparametre i ordbogen gør koden følgende:

• Starter en ny MLflow-kørsel
• Konverterer hyperparametrene til en liste, hvis de ikke allerede er en liste
• Loger hyperparametrene til MLflow
• Træner en gittersøgningsmodel med de angivne hyperparametre
• Får den bedste model fra gittersøgningen
• Foretager forudsigelser om testdata, der fungerer som den bedste model
• Beregner modellens nøjagtighed
• Udskriver hyperparametre, nøjagtighed og klassifikationsrapport
• Logger nøjagtigheden og modellen til MLflow

Kodestykke:

Trin 8: Udfør programmet ved hjælp af Python

Her er outputtet på MLflow-serveren:

Konklusion

MLflows grid-søgeværktøj automatiserer tweaking, sporing af resultaterne og ændring af hyperparametrene i maskinlæringsmodeller. Det hjælper med at bestemme de ideelle hyperparametre og sikrer de pålidelige resultater, men det kan være beregningsmæssigt dyrt for omfattende hyperparametereksperimenter.