Training von KI-Modellen: Die Suche nach kostengünstiger KI-Entwicklung

IMAGE CREDIT:
Bildnachweis
iStock

Training von KI-Modellen: Die Suche nach kostengünstiger KI-Entwicklung

Training von KI-Modellen: Die Suche nach kostengünstiger KI-Entwicklung

Untertiteltext
Modelle der künstlichen Intelligenz sind notorisch teuer zu bauen und zu trainieren, was sie für die meisten Forscher und Benutzer unerreichbar macht.
    • Autor:
    • Autorenname
      Quantumrun-Vorausschau
    • 21. März 2023

    Deep Learning (DL) hat sich als kompetente Lösung für mehrere Herausforderungen in der Entwicklung künstlicher Intelligenz (KI) erwiesen. Allerdings wird DL auch teurer. Der Betrieb tiefer neuronaler Netze erfordert hohe Verarbeitungsressourcen, insbesondere im Vortraining. Schlimmer noch, dieser energieintensive Prozess bedeutet, dass diese Anforderungen zu großen COXNUMX-Fußabdrücken führen, was die ESG-Ratings der Kommerzialisierung von KI-Forschung beeinträchtigt.

    KI-Modellkontext trainieren

    Pre-Training ist heute der beliebteste Ansatz zum Aufbau groß angelegter neuronaler Netze und hat große Erfolge in der Computer Vision (CV) und der Verarbeitung natürlicher Sprache (NLP) gezeigt. Die Entwicklung riesiger DL-Modelle ist jedoch zu kostspielig geworden. Beispielsweise kostete das Training des Generative Pre-trained Transformer 3 (GPT-3) von OpenAI, das 175 Milliarden Parameter hat und Zugriff auf riesige Server-Cluster mit erstklassigen Grafikkarten benötigt, schätzungsweise 12 Millionen US-Dollar. Ein leistungsstarker Server und Hunderte von Gigabyte Video-Random-Access-Memory (VRAM) werden ebenfalls benötigt, um das Modell auszuführen.

    Während sich große Technologieunternehmen solche Schulungskosten möglicherweise leisten können, werden sie für kleinere Startups und Forschungsorganisationen unerschwinglich. Drei Faktoren treiben diese Kosten an. 

    1. Umfangreiche Rechenkosten, die mehrere Wochen mit Tausenden von Grafikprozessoren (GPUs) benötigen würden.

    2. Fein abgestimmte Modelle erfordern einen enormen Speicherplatz, der normalerweise Hunderte von Gigabyte (GB) belegt. Außerdem müssen mehrere Modelle für unterschiedliche Aufgaben gespeichert werden.

    3. Das Trainieren großer Modelle erfordert präzise Rechenleistung und Hardware; andernfalls sind die Ergebnisse möglicherweise nicht ideal.

    Aufgrund unerschwinglicher Kosten wurde die KI-Forschung zunehmend kommerzialisiert, wobei Big-Tech-Unternehmen die Studien auf diesem Gebiet anführen. Diese Unternehmen können auch am meisten von ihren Erkenntnissen profitieren. In der Zwischenzeit müssen Forschungseinrichtungen und gemeinnützige Organisationen häufig mit diesen Unternehmen zusammenarbeiten, wenn sie ihre Erkundungen auf diesem Gebiet durchführen möchten. 

    Störende Wirkung

    Es gibt Hinweise darauf, dass neuronale Netze „beschnitten“ werden können. Das bedeutet, dass innerhalb übergroßer neuronaler Netze eine kleinere Gruppe das gleiche Maß an Genauigkeit wie das ursprüngliche KI-Modell erreichen kann, ohne dass dessen Funktionalität stark beeinträchtigt wird. Im Jahr 2020 zeigten beispielsweise KI-Forscher am Swarthmore College und am Los Alamos National Laboratory, dass, obwohl ein komplexes DL-Modell lernen kann, zukünftige Schritte im Game of Life des Mathematikers John Conway vorherzusagen, es immer ein kleineres neuronales Netzwerk gibt, das gelehrt werden kann dasselbe zu tun.

    Forscher entdeckten, dass sie, wenn sie zahlreiche Parameter eines DL-Modells verwerfen, nachdem es den gesamten Trainingsvorgang abgeschlossen hat, es auf 10 Prozent seiner ursprünglichen Größe reduzieren und immer noch das gleiche Ergebnis erzielen können. Mehrere Technologieunternehmen komprimieren bereits ihre KI-Modelle, um Platz auf Geräten wie Laptops und Smartphones zu sparen. Diese Methode spart nicht nur Geld, sondern ermöglicht es der Software auch, ohne Internetverbindung zu laufen und Ergebnisse in Echtzeit zu erhalten. 

    Es gab auch Fälle, in denen DL dank kleiner neuronaler Netze auf Geräten möglich war, die mit Solarbatterien oder Knopfzellen betrieben wurden. Eine Einschränkung der Pruning-Methode besteht jedoch darin, dass das Modell noch vollständig trainiert werden muss, bevor es reduziert werden kann. Es gab einige erste Studien zu neuronalen Teilmengen, die eigenständig trainiert werden können. Ihre Genauigkeit ist jedoch nicht die gleiche wie bei übergroßen neuronalen Netzen.

    Auswirkungen des Trainings von KI-Modellen

    Weitere Auswirkungen des Trainings von KI-Modellen können sein: 

    • Verstärkte Forschung in verschiedenen Methoden zum Trainieren neuronaler Netze; der Fortschritt könnte jedoch durch fehlende Finanzierung verlangsamt werden.
    • Big Tech finanziert weiterhin ihre KI-Forschungslabore, was zu weiteren Interessenkonflikten führt.
    • Die Kosten der KI-Entwicklung schaffen die Voraussetzungen für die Bildung von Monopolen und schränken die Fähigkeit neuer KI-Startups ein, unabhängig mit etablierten Technologieunternehmen zu konkurrieren. Ein aufkommendes Geschäftsszenario sieht möglicherweise vor, dass eine Handvoll großer Technologieunternehmen riesige proprietäre KI-Modelle entwickeln und diese als Dienstleistung/Dienstprogramm an kleinere KI-Unternehmen vermieten.
    • Forschungseinrichtungen, gemeinnützige Organisationen und Universitäten, die von großen Technologieunternehmen finanziert werden, um in ihrem Namen einige KI-Experimente durchzuführen. Dieser Trend kann zu einer stärkeren Abwanderung von Fachkräften aus der Wissenschaft in die Unternehmen führen.
    • Erhöhter Druck auf Big Tech, ihre KI-Ethikrichtlinien zu veröffentlichen und regelmäßig zu aktualisieren, um sie für ihre Forschungs- und Entwicklungsprojekte verantwortlich zu machen.
    • Das Training von KI-Modellen wird teurer, da zunehmend mehr Rechenleistung erforderlich ist, was zu mehr COXNUMX-Emissionen führt.
    • Einige Regierungsbehörden versuchen, die Daten zu regulieren, die beim Training dieser riesigen KI-Modelle verwendet werden. Außerdem können Wettbewerbsbehörden Gesetze erlassen, die zwingen, KI-Modelle einer bestimmten Größe kleineren inländischen Unternehmen zugänglich zu machen, um die Innovation von KMU zu fördern.

    Fragen zu berücksichtigen

    • Wenn Sie im KI-Sektor arbeiten, wie entwickelt Ihre Organisation umweltverträglichere KI-Modelle?
    • Was sind die möglichen langfristigen Folgen teurer KI-Modelle?

    Insight-Referenzen

    Für diesen Einblick wurde auf die folgenden beliebten und institutionellen Links verwiesen: