Hogyan lehet gyakorlatilag betanítani és telepíteni egy egyszerű AI-modellt a Google Cloud AI Platformon a GCP konzol grafikus felületén keresztül egy lépésről lépésre bemutató útmutatóban?
A Google Cloud AI Platform átfogó környezetet kínál gépi tanulási modellek nagy léptékű felépítéséhez, betanításához és telepítéséhez, a Google Cloud robusztus infrastruktúrájának kihasználásával. A Google Cloud Console grafikus felhasználói felületének használatával a felhasználók közvetlenül a parancssori eszközökkel való interakció nélkül irányíthatják a modellfejlesztési munkafolyamatokat. Az alábbi lépésenkénti útmutató bemutatja, hogyan lehet egy egyszerű MI-modellt – konkrétan egy osztályozáshoz használt neurális hálózatot – betanítani és telepíteni a grafikus felület használatával, kiemelve a legjobb gyakorlatokat és didaktikai értéket biztosítva.
Előfeltételek
Mielőtt folytatná, győződjön meg arról, hogy rendelkezik:
1. Google Cloud Platform (GCP) fiók, amelyen engedélyezve van a számlázás.
2. Megfelelő jogosultságok (például Projektszerkesztő vagy Tulajdonos) az AI Platform szolgáltatásainak használatához.
3. Egy felhőalapú tárolóegység a GCP-projektben az adatok és modellek tárolására.
4. A projekthez engedélyezett AI Platform, Compute Engine és Cloud Storage API-k.
1. lépés: Készítse elő adatait
Az adatok minősége és formátuma jelentősen befolyásolja a modell teljesítményét. Bemutatásképpen vegyük a jól ismert Iris adathalmazt, egy egyszerű többosztályos osztályozási problémát.
1. Az adatkészlet beszerzése
– Töltse le az Iris adatkészletet CSV formátumban egy megbízható forrásból (például az UCI Machine Learning Repositoryból).
2. Adatok feltöltése felhőalapú tárhelyre
– Jelentkezzen be a GCP konzolba.
– Lépjen a „Tárhely” > „Böngésző” menüpontra.
– Kattintson a „Vödör létrehozása” gombra, ha még nincs ilyen, vagy válasszon ki egy meglévő vödröt.
– Kattintson a „Fájlok feltöltése” gombra, és válassza ki a CSV-fájlt.
3. Adatséma ellenőrzése
– A Cloud Storage „Előnézet” lapján megjelenítheti a CSV-fájlt, és ellenőrizheti adatai integritását.
Didaktikai megjegyzés: A bemeneti adatok felhőalapú tárolása bevett gyakorlat az elosztott felhőalapú képzésekben. Ez leválasztja az adat- és számítási erőforrásokat, lehetővé téve a zökkenőmentes hozzáférést több képzési munkatárs számára.
2. lépés: Hozz létre egy képzési alkalmazást
Elosztott betanítás vagy egyéni modellek használata esetén az AI Platform Pythonban várja a betanítási kódot, jellemzően Python modulként csomagolva. Egyszerű modellekhez azonban az AI Platform előre elkészített konténereket biztosít „Egyéni feladatok” vagy „AutoML” opciókon keresztül. Ez az oktatóanyag az egyéni Python szkriptek használatára összpontosít a maximális rugalmasság érdekében.
1. Írd le a modellkódodat
– Hozz létre egy Python szkriptet (pl. `trainer/task.py`), amely:
– Betölti az adathalmazt a felhőalapú tárhelyből.
– Előfeldolgozást végez az adatokon.
– Egy egyszerű Keras szekvenciális modellt definiál az osztályozáshoz.
– Betanítja a modellt, és a kimenetet felhőalapú tárhelyre menti.
– Példa kódrészlet (egyszerűsített):
python
import os
import pandas as pd
import tensorflow as tf
from tensorflow import keras
def load_data(file_path):
return pd.read_csv(file_path)
def create_model(input_shape):
model = keras.Sequential([
keras.layers.Dense(10, activation='relu', input_shape=(input_shape,)),
keras.layers.Dense(3, activation='softmax')
])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
return model
def main():
# Environment variables set by AI Platform
input_path = os.environ['AIP_DATA_FORMAT']
output_dir = os.environ['AIP_MODEL_DIR']
df = load_data(input_path)
X = df.iloc[:, :-1].values
y = df.iloc[:, -1].values
model = create_model(X.shape[1])
model.fit(X, y, epochs=10)
model.save(output_dir)
if __name__ == '__main__':
main()
- Jegyzet: Éles környezetben vagy nagyobb adathalmazok esetén alkalmazza az olyan ajánlott gyakorlatokat, mint a keverés, a tesztelésre való felosztás és az adatnormalizálás.
2. A kód becsomagolása
– A kódkönyvtár struktúrája a következőképpen alakul:
trainer/
__init__.py
task.py
– Tömörítsd a `trainer` könyvtárat egy `.tar.gz` fájlba a feltöltéshez.
3. Kód feltöltése felhőalapú tárhelyre
– Navigálj a tárolóvödörhöz.
– Töltse fel a betanító kódot tartalmazó `.tar.gz` fájlt.
Didaktikai megjegyzés: A csomagolási kód lehetővé teszi a reprodukálhatóságot és a verziókövetést, amelyek mindkettő fontos az együttműködő és elosztott gépi tanulási munkafolyamatokban.
3. lépés: Betanítási feladat létrehozása a GCP konzolon keresztül
1. Navigálás a Vertex AI-hoz
– A GCP konzolban lépjen a „Vertex AI” > „Betanítás” menüpontra.
2. Új betanítási munka indítása
– Kattintson a „Létrehozás” gombra egy új betanítási feladat elindításához.
– Válassza az „Egyéni képzés” lehetőséget.
3. A betanítási feladat konfigurálása
- Megjelenítési név: Adjon meg egy könnyen felismerhető nevet a munkájának.
- Régió: A teljesítmény és a költséghatékonyság érdekében válasszon egy, az adatai helyéhez közeli régiót.
- Python csomag helye: Add meg a `.tar.gz` fájlod felhőalapú tárhelyének elérési útját (pl. `gs://a-gyűjteményed/trainer.tar.gz`).
- Python modul neve: Adja meg a modul belépési pontját (pl. `trainer.task`).
4. Betanító tároló megadása
– Válassza a „TensorFlow” keretrendszert (pl. TensorFlow 2.8), ha a kódja erre támaszkodik.
– A rendszer automatikusan kitölti a kompatibilis Docker konténereket.
5. Bemeneti argumentumok és hiperparaméterek beállítása (opcionális)
– Argumentumokat adhat hozzá hiperparaméterekhez, elérési utakhoz vagy más futásidejű változókhoz.
– Példa: `–input-path=gs://a-vödör/iris.csv –output-dir=gs://a-vödör/modell-kimenet`
6. Számítási erőforrások konfigurálása
- Géptípus: Egyszerű modellekhez az `n1-standard-4` elegendő.
- Gyorsító: Nem szükséges, kivéve, ha mély vagy összetett modelleket kell betanítani.
- Munkavállalói csoport mérete: Állítson 1-re egycsomópontos betanításhoz, vagy nagyobb értékre elosztott betanításhoz (lásd az alábbi elosztott részt).
7. Kimeneti modellkönyvtár
– Adjon meg egy felhőalapú tárolási elérési utat a betanított modellösszetevőkhöz (pl. `gs://a-vödör/modell-kimenet`).
8. A feladat létrehozása és futtatása
– Kattintson a „Létrehozás” gombra a feladat elindításához. A folyamatot a konzol felhasználói felületén, a „Betanítási feladatok” fül alatt figyelheti.
Didaktikai megjegyzés: A grafikus felhasználói felület használata megszünteti a parancssori bonyolultságot, így a munkafolyamat könnyebben hozzáférhetővé válik a kezdő szakemberek és a prototípus-készítésre koncentrálók számára.
4. lépés: (Opcionális) Elosztott betanítás engedélyezése
Nagyobb adathalmazok vagy mély neurális hálózatok esetén a betanítás több gép között is elosztható.
1. A „Betanítási feladat” konfigurációban keresse meg a „Munkavállalói készlet konfigurációja” elemet.
2. További munkavégzői készletek hozzáadása:
- Fő: 1 (fő csomópont)
- munkások: A szám beállítása az adathalmaz/modell mérete alapján.
- Paraméterkiszolgálók: Modellparaméterek koordinációjához használatos, releváns az elosztott TensorFlow feladatokhoz.
3. Minden egyes készlethez adja meg a gép típusát és a Docker rendszerképet (meg kell egyeznie a keretrendszerével és verziójával).
4. Győződj meg róla, hogy a kódod támogatja az elosztott betanítást (pl. a `tf.distribute.Strategy` használatával).
Didaktikai megjegyzés: Az elosztott betanítás jelentősen csökkentheti a betanítási időt nagyméretű problémák esetén. Olyan szempontokat vezet be, mint az adatfelosztás, a szinkronizálás és a hálózati terhelés. Egyszerű modellek és adatkészletek esetén elegendő az egycsomópontos betanítás.
5. lépés: A modell telepítése a GCP konzol grafikus felhasználói felületén keresztül
A betanítás befejezése után a modell összetevői elérhetővé válnak a megadott felhőalapú tárolóhelyen. Ezután telepítse a modellt online előrejelzéshez.
1. Regisztrálja a modellt
– A „Vertex AI” > „Modellek” menüpontban kattintson a „Modell feltöltése” gombra.
– Válassza a „Betanított modell műtermékekből” lehetőséget.
– Adja meg a mentett modell könyvtárának felhőalapú tárolási elérési útját (pl. `gs://a-vödör/modell-kimenet`).
2. Modell keretrendszer és formátum
– Adja meg a keretrendszert (pl. TensorFlow) és annak verzióját.
– A Vertex AI automatikusan felismeri a modell típusát (SavedModel, scikit-learn pickle stb.).
3. Modell megjelenített neve
– Adjon meg egy egyedi megjelenítendő nevet a modelljének.
4. Vidék
– Válassza ki a képzési és tárolási helyének megfelelő régiót.
5. A modell létrehozása
– Kattintson a „Létrehozás” gombra, és várja meg, amíg a regisztráció befejeződik.
6. Telepítés egy végpontra
– Miután a modell regisztrálva van, kattintson a „Végpontra telepítés” gombra.
– Hozzon létre egy új végpontot, vagy válasszon ki egy meglévőt.
– Több verzió telepítésekor konfigurálja a forgalomfelosztást.
- Géptípus: Válasszon ki egy megfelelő példánytípust a kiszolgáláshoz; kis modellek esetén az `n1-standard-2` elegendő.
- Minimális/maximális replikák: A várható kérésmennyiség alapján állítsa be a skálázási paramétereket.
– Opcionálisan engedélyezze a GPU/TPU gyorsítást a gyorsabb következtetés érdekében.
7. Telepítése
– Kattintson a „Telepítés” gombra. A telepítési folyamat eltarthat több percig is.
Didaktikai megjegyzés: A modellregisztráció és a telepítés szétválasztása robusztus verziókövetést és A/B tesztelést tesz lehetővé, támogatva az MLOps ajánlott gyakorlatait.
6. lépés: A telepített modell tesztelése
1. Tesztadatok előkészítése
– A bemeneti adatokat a modell igényei szerint formázza (pl. JSON objektumként, ugyanazokkal a tulajdonságokkal, mint a betanítási adatok).
2. A konzol használata teszteléshez
– A Vertex AI > Végpontok menüpontban válassza ki a telepített végpontot.
– Kattintson a „Végpont tesztelése” gombra.
– Illessze be a tesztadatokat a kérés törzsébe.
– Kattintson a „Kérés küldése” gombra, és tekintse meg az előrejelzés eredményeit.
Didaktikai megjegyzés: A grafikus felhasználói felületen keresztüli tesztelés gyors validációt tesz lehetővé, mielőtt a modellt REST API-n vagy klienskönyvtárakon keresztül éles alkalmazásokba integrálnánk.
7. lépés: A modell teljesítményének monitorozása és kezelése
1. Előrejelzések és naplók megtekintése
– Hozzáférés a végpont naplóihoz az előrejelzési kérelmek, a késleltetés és a hibák tekintetében.
– A Vertex AI „Monitoring” funkciójával állíthat be riasztásokat és követheti nyomon az erőforrás-kihasználtságot.
2. A modell frissítése vagy újratanítása
– Amikor elérhetővé válnak továbbfejlesztett adat- vagy modellverziók, ismételje meg a betanítási és telepítési folyamatot.
– Frissítse a végpontot, hogy a forgalmat állásidő nélkül az új modellverzióra irányítsa.
8. lépés: Erőforrások tisztítása
A felesleges költségek elkerülése érdekében:
1. Törölje a nem használt modelleket, végpontokat és betanítási feladatokat a Vertex AI-ból.
2. Távolítson el nagy fájlokat a felhőalapú tárolóhelyekről, ha már nincs rájuk szükség.
3. Szabadítson fel minden foglalt IP-címet vagy számítási erőforrást.
Példák és didaktikai érték
- 1. példa: Egycsomópontos betanítás Iris adatkészlettel
– Egy Keras modell Iris adathalmazzal történő betanítása a grafikus felhasználói felületen keresztül bemutatja a felhőalapú gépi tanulás alapelveit, beleértve az adattárolás leválasztását, a modulcsomagolást és a reprodukálható betanítást.
- 2. példa: Több dolgozós elosztott képzés
– Nagy táblázatos adathalmazok skálázásakor több munkavégző készlet konfigurálása a grafikus felhasználói felületen keresztül lehetővé teszi az elosztott adatok és modellek párhuzamosítását. Ez bevezeti a hallgatókat a gépi tanulás (ML) mérnöki koncepcióiba, mint például a szinkronizációs korlátok és a paraméterkiszolgálók.
A Google Cloud AI Platform grafikus felhasználói felületének vezérelt munkafolyamata pedagógiai szempontból értékes, mivel:
– Vizuális, lépésről lépésre haladó folyamat biztosításával csökkenti a kezdők belépési korlátait.
– Szemlélteti az adatok, a modell és az infrastruktúra szétválasztását.
– Megerősíti a modellfejlesztés iteratív jellegét – adatok előkészítése, betanítás, kiértékelés, telepítés, monitorozás és újratanítás.
– Bemutatja az iparági szabványoknak megfelelő MLOp gyakorlatokat, beleértve a verziókövetést, a monitorozást és a skálázható telepítést.
Gyakori buktatók és hibaelhárítás
- Engedélyezési hibák: Győződjön meg arról, hogy a szolgáltatásfiókja rendelkezik a szükséges engedélyekkel a Cloud Storage, az AI Platform és a Compute Engine eléréséhez.
- Erőforrás korlátok: Ha a betanítási feladatok kvótaproblémák miatt hiúsulnak meg, ellenőrizze a projekt kvótáit, és szükség esetén kérjen növelést.
- Adatformátum-eltérés: Mindig ellenőrizze a CSV sémát és az előfeldolgozási lépéseket, hogy megfeleljenek a modell bemeneti elvárásainak.
- Modell nem telepíthető: Győződjön meg arról, hogy a modell Vertex AI-val kompatibilis formátumban van mentve (pl. TensorFlow SavedModel).
Haladó témák a felfedezéshez
- Hiperparaméter hangolás: Használja a Vertex AI beépített hiperparaméter-hangolási funkcióját az optimális paraméterkeresés automatizálásához.
- Csővezetékek: Többlépéses gépi tanulási munkafolyamatok összehangolása az ismételhetőség és az automatizálás érdekében.
- Modellfigyelés: Állítson be folyamatos kiértékelést és eltolódásészlelést az éles környezetben lévő modellekhez.
Ez a lépésről lépésre történő, a grafikus felhasználói felületen keresztüli megközelítés alapvető kompetenciákat épít ki a felhőalapú gépi tanulásban, felkészítve a felhasználókat a kifinomultabb, automatizált vagy kódvezérelt munkafolyamatokra, ahogy szakértelmük bővül.
További friss kérdések és válaszok ezzel kapcsolatban Elosztott edzés a felhőben:
- Mi a legegyszerűbb, lépésről lépésre történő eljárás az elosztott AI-modell betanításának gyakorlására a Google Cloudban?
- Mi az első modell, amin lehet dolgozni, és van néhány gyakorlati javaslat a kezdéshez?
- Milyen hátrányai vannak az elosztott képzésnek?
- Milyen lépésekből áll a Cloud Machine Learning Engine használata elosztott képzéshez?
- Hogyan követheti nyomon egy képzési feladat előrehaladását a Cloud Console-ban?
- Mi a Cloud Machine Learning Engine konfigurációs fájl célja?
- Hogyan működik az adatpárhuzam az elosztott képzésben?
- Melyek az elosztott képzés előnyei a gépi tanulásban?