[App Beta] My Media Tools - Your Photos. Your Control

Build 35 kommt in 3 Minuten mit diesen Änderungen:

Korrigiert ist die Schwarz/Weiß-Darstellung der neuen Auswahlbuttons im Dark Mode.

Besonders die beiden Stellen bei „Metadaten bearbeiten“ und „Live Photos entfernen“, die noch direkt themeColor(0) als weißen Hintergrund verwendet haben, laufen jetzt über eine gemeinsame ButtonStyle-Logik. Somit tritt der Fehler auch in Zukunft, bei Designänderungen, nicht mehr auf.

Kurz noch Eigenwerbung. Gestern Abend habe ich noch zwei Tools hinzugefügt. Damit sind es nun 3 neue, mit dem Video-Trimmer. Hier mal die aktuelle Beschreibung:

My Media Tools – Deine Medien. Deine Werkzeuge. Deine Privatsphäre.

My Media Tools vereint leistungsfähige Werkzeuge für Fotos und Videos in einer einzigen App. Das Besondere: Die Verarbeitung erfolgt vollständig lokal auf dem iPhone oder iPad und basiert auf Apples eigenen Frameworks wie PhotoKit, Vision, Core Image und AVFoundation. Keine Cloud, keine externen Server und kein Upload privater Medien.

Fotos konvertieren

Fotos lassen sich direkt in moderne Formate wie HEIF umwandeln und dadurch deutlich platzsparender speichern. Wichtige Informationen wie Aufnahmedatum und Standort können dabei erhalten bleiben. Die gesamte Konvertierung erfolgt lokal mit Apples eigenen Frameworks.

Aufnahmezeit reparieren

Action-Cams und Drohnen speichern Aufnahmezeiten häufig zeitzonenbedingt anders, wodurch Fotos und Videos in Apple Fotos zeitlich falsch einsortiert werden können. My Media Tools erkennt vorhandene Zeitinformationen und kann daraus die korrekte Aufnahmezeit rekonstruieren. Auch über WhatsApp empfangene Aufnahmen, die häufig das Empfangsdatum statt des ursprünglichen Aufnahmedatums tragen, können so anhand vorhandener Metadaten wieder korrekt eingeordnet werden.

Metadaten bearbeiten

EXIF-Daten, Aufnahmedatum, Uhrzeit, GPS-Position und weitere Metadaten können angezeigt und gezielt verändert werden. Auch mehrere Medien lassen sich gemeinsam bearbeiten. Sämtliche Informationen werden ausschließlich lokal ausgelesen und verarbeitet.

Sicher teilen

Fotos können vor dem Teilen konsequent von persönlichen und rückverfolgbaren Metadaten befreit werden. My Media Tools erzeugt dafür eine neue, bereinigte Bilddatei, statt lediglich einzelne EXIF-Felder auszublenden. Standort und andere private Informationen bleiben damit auf dem eigenen Gerät.

Live Photos entfernen

Live Photos bestehen aus einem Foto und einer zusätzlichen Videokomponente und benötigen entsprechend mehr Speicherplatz. My Media Tools kann daraus ein hochwertiges Einzelbild erzeugen und wichtige Informationen wie Aufnahmedatum und Standort erhalten. Alles geschieht lokal auf dem Gerät.

Medien prüfen

Die eigene Mediathek kann auf auffällige oder problematische Medien untersucht werden. Erkannte Fälle lassen sich anschließend gezielt überprüfen und mit den passenden Werkzeugen korrigieren. Auch die Analyse erfolgt ausschließlich lokal und ohne Übertragung der Mediathek.

Video Status Trimmer

Lange Videos werden automatisch in Abschnitte von 15, 30, 60, 90 oder 120 Sekunden aufgeteilt, ideal für WhatsApp Status und ähnliche Dienste. Wenn technisch möglich, erfolgt dies ohne erneute Videokodierung. Aufnahmedatum und Standort können dabei erhalten bleiben.

Vollautomatik

Die Vollautomatik verbindet mehrere Arbeitsschritte zu einem einzigen Vorgang. Aufnahmeinformationen werden geprüft und soweit eindeutig möglich repariert, Fotos platzsparend in HEIF konvertiert und auf Wunsch Live Photos reduziert. Eine weitgehend automatische Optimierung der eigenen Mediathek, komplett lokal.

Gesichter verpixeln

Apples Vision Framework erkennt Gesichter automatisch und vollständig lokal auf dem Gerät. Die vorgeschlagenen Bereiche können anschließend individuell vergrößert, verkleinert oder ergänzt und direkt in das Bild verpixelt werden. Das Ergebnis lässt sich als neue Kopie speichern oder unmittelbar über „Sicher teilen“ ohne persönliche Metadaten weitergeben.

Was My Media Tools besonders macht

Für Konvertierung, Zeitkorrektur, Metadaten, Live Photos, Videos, Datenschutz und automatische Gesichtserkennung werden normalerweise unterschiedliche Apps oder sogar Online-Dienste benötigt. My Media Tools bündelt diese Funktionen in einer einzigen Anwendung.

Dabei gilt konsequent: Die eigenen Fotos und Videos verlassen das Gerät nicht. Die Verarbeitung erfolgt mit Apples nativen Technologien direkt auf iPhone und iPad. Keine externe KI, keine Verarbeitung in der Cloud und kein Hochladen persönlicher Medien auf fremde Server.

Build 38 ist jetzt gerade online gegangen 😊

Neu in dieser Version
• Gesichter verpixeln: Automatische Gesichtserkennung erkennt Gesichter direkt auf dem Gerät und ermöglicht eine individuell anpassbare Verpixelung.
• Vollautomatik: Aufnahmeinformationen prüfen und reparieren, Fotos platzsparend optimieren und auf Wunsch Live Photos reduzieren, alles in einem Arbeitsgang.
• Neue kompakte Startseite mit übersichtlichem 2-Spalten-Layout.
• Startseiten-Kacheln können jetzt direkt verschoben, neu angeordnet oder ausgeblendet werden.
• Verbesserte Ersteinrichtung zur individuellen Auswahl der gewünschten Werkzeuge.
• Weitere Verbesserungen und Fehlerbehebungen.

Build 39 nachgeschoben, da ein kleiner Bug im Verschieben der Pixelmaske war.

Da muss ich schauen, wie das geht. Aktuell setze ich auf die Gesichtserkennungs-API von Apple Fotos auf. Die habe ich mir hier zu Nutze gemacht, damit die Gesichter zuverlässig erkannt werden. Ich checke es mal 😊

Gleich kommt Build 41.

Darin habe ich noch ein paar kleinere UI fixes eingearbeitet, und der von dir gemeldet ist dann auch direkt behoben. Das konnte ich ziemlich schnell identifizieren. Ich habe es jetzt responsive gemacht, so dass es sowohl auf iPad also auf iPhone sich immer automatisch anpasst.

Vorher waren es zwei statische Templates.

Mit Build 42 bekommt My Media Tools ein ziemlich außergewöhnliches neues Werkzeug. Bilder vergleichen.

Dabei werden nicht einfach Dateiname, Dateigröße oder EXIF Daten verglichen. Die App analysiert den tatsächlichen Bildinhalt bis auf Pixelebene. Unterschiedliche Auflösungen, Dateiformate oder Metadaten spielen dabei keine Rolle. Die Bilder werden für die Analyse normalisiert und anschließend miteinander verglichen.

So erkennt My Media Tools beispielsweise, wenn ein Foto mit 4032 × 3024 Pixeln und ein kleineres oder anders gespeichertes Bild tatsächlich vom selben Original stammen. Die App bewertet dabei Bildübereinstimmung, Auflösung, Detailschärfe, Dateigröße und vorhandene Metadaten und ermittelt daraus die technisch beste Version.

Besonders interessant wird es, wenn die beste Bilddatei nicht gleichzeitig die besten Metadaten besitzt. Dann kann My Media Tools die qualitativ bessere Bildquelle mit den vollständigeren Metadaten eines Duplikats kombinieren und daraus eine neue Datei erstellen. Die Originale bleiben unangetastet.

Es können bis zu 30 Bilder gleichzeitig geladen werden. Dadurch lassen sich auch größere Gruppen von Duplikaten und unterschiedlichen Versionen desselben Fotos untersuchen.

Technisch ist das deutlich komplexer als ein klassischer Duplikatfinder. Es geht nicht darum, ob zwei Dateien identisch sind, sondern darum, ob ihr tatsächlicher visueller Inhalt übereinstimmt und welche der vorhandenen Versionen die beste Ausgangsdatei ist.

Mit Build 43 bekommt My Media Tools eine Funktion, die ich unbedingt noch in der App haben wollte.

Super Resolution.

Der Inhalt kann nicht angezeigt werden, da du keine Berechtigung hast, diesen Inhalt zu sehen.

Links das Original, rechts das Super Resolution Bild.

Damit lassen sich Bilder nicht einfach nur größer rechnen. My Media Tools verarbeitet das Bild über eine eigene lokale Image Pipeline. Dabei werden mehrere Verarbeitungsschritte miteinander kombiniert. Hochwertiges Resampling vergrößert zunächst die Bildinformationen. Anschließend werden Rauschen und typische Skalierungsartefakte reduziert. Eine adaptive Detailrekonstruktion analysiert Kanten und feine Strukturen und arbeitet gezielt Details heraus, ohne einfach das gesamte Bild künstlich zu überschärfen.

Das Bild kann wahlweise auf die doppelte oder vierfache Auflösung hochgerechnet werden. Besonders bei älteren, kleineren oder bereits komprimierten Bildern kann das einen erstaunlichen Unterschied machen.

Und natürlich wollte ich das Ergebnis auch vernünftig beurteilen können. Deshalb gibt es einen interaktiven Vorher Nachher Vergleich. Ein verschiebbarer Teiler liegt direkt über dem Bild. Links sieht man das Original, rechts das mit Super Resolution verarbeitete Ergebnis. So kann man selbst bei starker Vergrößerung unmittelbar vergleichen, was die Image Pipeline tatsächlich aus dem Ausgangsmaterial herausholt.

Die komplette Verarbeitung findet lokal auf dem Gerät statt. Das Bild muss für Super Resolution nicht auf irgendeinen Server hochgeladen werden.

Das Ergebnis wird anschließend als neue Datei gespeichert. Das Original bleibt selbstverständlich unangetastet.

Super Resolution ist damit ein weiteres Werkzeug in My Media Tools, das aus einer ursprünglich recht kleinen Idee inzwischen eine ziemlich umfangreiche Werkzeugkiste für Bilder und Videos macht.

Ausblick: Echte KI-Super-Resolution für My Media Tools

In den 6 Stunden habe ich relativ intensiv (aber nebenher das iPhone übertragen lassen) an einer neuen Super-Resolution-Funktion gearbeitet. Das Ziel war dabei nicht einfach nur, ein Bild mathematisch größer zu skalieren, sondern tatsächlich zusätzliche Bilddetails mithilfe eines Machine-Learning-Modells zu rekonstruieren.

Der erste Ansatz war Apples eigene VideoToolbox Super Resolution. Apple stellt dafür mit VTFrameProcessor und VTSuperResolutionScalerConfiguration inzwischen eine sehr interessante native Pipeline zur Verfügung, die direkt auf der Hardware des Geräts arbeitet.

Technisch funktionierte die Implementierung letztlich auch. Dabei gab es allerdings einige Besonderheiten: Auf meinem Testgerät stellte VideoToolbox beispielsweise ausschließlich einen nativen Skalierungsfaktor von 4× zur Verfügung. Bei hochauflösenden iPhone-Fotos entstehen dadurch sehr schnell enorme Bildgrößen und entsprechend hohe Anforderungen an Arbeitsspeicher und Pixelbuffer. Bei meinem iPad Air M3 lief es in ein Speicher-/Pixelbuffer-Limit (das hat nur 8GB RAM). Beim iPad Air M4 13" mit 12GB lief es durch.

Deshalb habe ich die Verarbeitung zunächst auf kontrollierte Bildausschnitte umgestellt und einen direkten A/B-Vergleich eingebaut. Original, Apples Super Resolution und eine klassische Lanczos-Skalierung konnten dabei auf exakt derselben Bildstelle miteinander verglichen und bis zu 30-fach vergrößert werden.

Das überraschende Ergebnis: Obwohl Apples Pipeline technisch korrekt durchlief, war bei meinen Testbildern praktisch kein überzeugender zusätzlicher Detailgewinn gegenüber einer konventionellen Skalierung zu erkennen. Für eine Funktion, die ausdrücklich „Super Resolution“ heißen soll, war mir das schlicht nicht genug.

Also habe ich den Ansatz noch einmal komplett geändert.

Real-ESRGAN x4plus + Core ML

Die neue Implementierung verwendet Real-ESRGAN x4plus, das ich als Core-ML-Modell direkt in My Media Tools integriert habe. Real-ESRGAN ist ein neuronales Super-Resolution-Verfahren: Es vergrößert die vorhandenen Pixel nicht lediglich durch Interpolation, sondern versucht, anhand der im Training erlernten Strukturen plausible hochauflösende Details zu rekonstruieren.

Das Modell wird für die App als Core-ML-Modell kompiliert und anschließend vollständig lokal ausgeführt. Es gibt keinen Upload und keine Cloud-Verarbeitung. Das ausgewählte Foto bleibt während der gesamten Verarbeitung auf dem iPhone bzw. iPad.

Auch die eigentliche Integration war interessanter als erwartet. Die Bilddaten müssen zunächst exakt in das vom neuronalen Netz erwartete Eingabeformat gebracht werden. Dazu gehören unter anderem die korrekte RGB-Normalisierung und das notwendige Padding. Nach der Inferenz liefert Core ML die berechneten Daten als MLMultiArrayzurück. Die Ausgabe des Netzes liegt dabei als mehrdimensionaler Tensor im NCHW-Format – also Batch, Farbkanal, Höhe und Breite – vor und muss anschließend wieder korrekt in RGB-Bilddaten zurückverwandelt werden. Danach wird das zuvor hinzugefügte Padding wieder entfernt und die Ausgabe für die weitere Bildverarbeitung aufbereitet.

Der aktuelle interne Qualitätstest arbeitet zunächst mit einer kontrollierten Eingangsgröße und berechnet daraus über Real-ESRGAN eine 4× höhere Auflösung. Für den Vorher-/Nachher-Vergleich wird das komplette Ausgangsbild proportional eingepasst. Der Vergleich ist interaktiv: Die Trennlinie lässt sich frei verschieben, Bildposition und Zoom bleiben synchron und für die Detailkontrolle kann sehr weit in das Ergebnis hineingezoomt werden.

Damit kann ich unmittelbar vergleichen, was tatsächlich vom ML-Modell kommt und was eine normale Lanczos-Skalierung aus demselben Ausgangsmaterial macht.

Warum dieser Aufwand?

Ich möchte die Funktion erst veröffentlichen, wenn der Qualitätsgewinn nicht nur auf dem Papier vorhanden ist. „4ד allein sagt schließlich überhaupt nichts darüber aus, ob am Ende tatsächlich ein besseres Bild entsteht. Aus 3.000 × 4.000 Pixeln rechnerisch 12.000 × 16.000 Pixel zu erzeugen, ist trivial. Entscheidend ist, was mit den zusätzlichen Pixeln passiert.

Genau deshalb laufen momentan noch interne Tests mit unterschiedlichen Motiven, Detailstrukturen und Ausgangsqualitäten.

Wenn diese Tests abgeschlossen sind und die Ergebnisse meinen Erwartungen entsprechen, wird die neue Real-ESRGAN-Super-Resolution mit einem der nächsten Builds von My Media Tools online gehen.

Besonders spannend finde ich dabei, wo die Entwicklung inzwischen angekommen ist: Eine solche KI-basierte Bildrekonstruktion kann vollständig lokal auf einem iPhone oder iPad laufen – ohne Server, ohne Cloud und ohne dass das eigene Foto das Gerät verlassen muss.

Darauf bin ich gerade wirklich ein bisschen stolz. Nach einigen Stunden Testen, Verwerfen und Optimieren läuft jetzt tatsächlich Real-ESRGAN x4plus als kompiliertes Core-ML-Modell direkt in meiner App und v.a. vollständig lokal auf iPhone und iPad, ohne Cloud oder Server.

Und das Entscheidende: Das Ergebnis ist sensationell. Nicht einfach nur viermal mehr Pixel, sondern sichtbar rekonstruierte Details und eine Bildqualität, bei der man im direkten Vorher-/Nachher-Vergleich wirklich einen Unterschied sieht.

Schon ziemlich verrückt, was man inzwischen direkt auf einem iPad umsetzen kann. 😊