Janick Beck hat seine Bachelorarbeit an der TU Clausthal erfolgreich abgeschlossen. Das Thema seiner Arbeit lautet: “Estimation of the Number of Linear Regions in ReLU Deep Neural Networks“.
Abstrakt:
Neuronale Netze werden immer beliebter, um selbst die härtesten Herausforderungen des maschinellen Lernens zu meistern. Um diesen Herausforderungen zu begegnen, werden größere Netzwerke mit immer mehr Neuronen und Schichten implementiert, welche oft als Deep Neural Networks bezeichnet werden. Mit der höheren Komplexität wächst auch die Notwendigkeit, die Aussagekraft dieser Netzwerke zu beurteilen. Eine Metrik, um die Leistung neuronaler Netze mit stückweise linearen Aktivierungsfunktionen abzuschätzen, ist die Anzahl der linearen Regionen, welche gleich der Anzahl der unterschiedlichen Aktivierungsmuster für die Neuronen dieses Netzes ist. Die Anzahl der linearen Regionen wächst jedoch im schlimmsten Fall exponentiell mit der Anzahl der im Netzwerk verwendeten Neuronen und Schichten. Daher kann eine genaue Berechnung dieser Zahl schwierig und zeitaufwendig werden.
In dieser Arbeit stellen wir einen neuartigen und effizienten Ansatz vor, um eine genaue Approximation von der Anzahl der linearen Regionen zu berechnen. Dafür wurde ein besser skalierender Ansatz definiert, der den Eingaberaum in Unterräume aufteilt und ihn mit zufälligen Eingaben testet. Darauffolgend wird die Anzahl der resultierenden Aktivierungsmuster für das gesamte neuronale Netz extrapoliert.
Um die Richtigkeit unseres Ansatzes zu beweisen, haben wir unsere Tests an mehreren kleinen bis mittelgroßen DNNs ausgeführt und die Ergebnisse mit Netzen verglichen, für die die genaue Anzahl der linearen Regionen bereits bekannt ist. Die Ergebnisse zeigen, dass unsere Technik erfolgreich
genauere Anzahlen berechnen kann als die bestehenden Techniken, und zwar mit großen Zeiteinsparungen, insbesondere bei größeren Netzwerken.
