Video-Links wurden "spontan" deaktiviert

Eisu

Hallo,

gestern haben wir auf dem Testserver Video-Links hochgeladen. Heute wurden diese «spontan» durch das System, deaktiviert. Es handelt sich um YouTube-Videos, welche noch auf YouTube erreichbar sind.

Es gibt eine Fehlermeldung, eventuell ist die aufschlussreich. Für jedes deaktivierte Video wurde so ein Fehler protokolliert. Kannst Du mir die Meldung übersetzen, ich verstehe nur Bahnhof.

Code

Tue, 15 Aug 2023 22:20:32 +0000
Message: Client error: `GET https://www.googleapis.com/youtube/v3/search?key=AIzaSyDak4xvSDmjo0PP60VUO82meGc_ggYOHvY&maxResults=50&order=date&type=video&channelId=UCk-nSxgf0pFJ7zSYt1QopMQ&part=snippet%2Cid&publishedAfter=2023-08-15T19%3A32%3A46Z` resulted in a `403 Forbidden` response: {   "error": {     "code": 403,     "message": "The request cannot be completed because you have exceeded your \u003ca h (truncated...) 
PHP version: 8.1.21
WoltLab Suite version: 5.5.15
Request URI: POST /mediathek/index.php?ajax-proxy/&t=21ed05778c6adfab64f1c12216cdde6aebd5731f267dcdec53f9820f177f956a-FDumPpbk1ZJN+OBjg7KBhg==
Referrer: https://test.spirit.jetzt/mediathek/video/202/
User Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 OPR/101.0.0.0
Peak Memory Usage: 10548488/268435456
======
Error Class: GuzzleHttp\Exception\ClientException
Error Message: Client error: `GET https://www.googleapis.com/youtube/v3/search?key=AIzaSyDak4xvSDmjo0PP60VUO82meGc_ggYOHvY&maxResults=50&order=date&type=video&channelId=UCk-nSxgf0pFJ7zSYt1QopMQ&part=snippet%2Cid&publishedAfter=2023-08-15T19%3A32%3A46Z` resulted in a `403 Forbidden` response: {   "error": {     "code": 403,     "message": "The request cannot be completed because you have exceeded your \u003ca h (truncated...) 
Error Code: 403
File: /var/www/vhosts/spirit.jetzt/test.spirit.jetzt/lib/system/api/guzzlehttp/guzzle/src/Exception/RequestException.php (113)
Extra Information: -
Stack Trace: [{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/guzzle\/src\/Middleware.php","line":69,"function":"create","class":"GuzzleHttp\\Exception\\RequestException","type":"::","args":["GuzzleHttp\\Psr7\\Request","GuzzleHttp\\Psr7\\Response",null,[],null]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":204,"function":"GuzzleHttp\\{closure}","class":"GuzzleHttp\\Middleware","type":"::","args":["[error_during_sanitization]"]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":153,"function":"callHandler","class":"GuzzleHttp\\Promise\\Promise","type":"::","args":[1,"GuzzleHttp\\Psr7\\Response",null]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/TaskQueue.php","line":48,"function":"GuzzleHttp\\Promise\\{closure}","class":"GuzzleHttp\\Promise\\Promise","type":"::","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":248,"function":"run","class":"GuzzleHttp\\Promise\\TaskQueue","type":"->","args":[true]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":224,"function":"invokeWaitFn","class":"GuzzleHttp\\Promise\\Promise","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":269,"function":"waitIfPending","class":"GuzzleHttp\\Promise\\Promise","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":226,"function":"invokeWaitList","class":"GuzzleHttp\\Promise\\Promise","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/promises\/src\/Promise.php","line":62,"function":"waitIfPending","class":"GuzzleHttp\\Promise\\Promise","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/api\/guzzlehttp\/guzzle\/src\/Client.php","line":123,"function":"wait","class":"GuzzleHttp\\Promise\\Promise","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/mediathek\/lib\/system\/video\/channel\/provider\/YouTubeVideoChannelProvider.class.php","line":48,"function":"send","class":"GuzzleHttp\\Client","type":"->","args":["GuzzleHttp\\Psr7\\Request"]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/mediathek\/lib\/system\/cronjob\/VideoChannelCronjob.class.php","line":36,"function":"fetchVideos","class":"easymedia\\system\\video\\channel\\provider\\YouTubeVideoChannelProvider","type":"->","args":["easymedia\\data\\video\\channel\\VideoChannel",1692127966]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/cronjob\/CronjobScheduler.class.php","line":272,"function":"execute","class":"easymedia\\system\\cronjob\\VideoChannelCronjob","type":"->","args":["wcf\\data\\cronjob\\Cronjob"]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/cronjob\/CronjobScheduler.class.php","line":75,"function":"executeCronjob","class":"wcf\\system\\cronjob\\CronjobScheduler","type":"->","args":["wcf\\data\\cronjob\\CronjobEditor","wcf\\data\\cronjob\\log\\CronjobLogEditor"]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/data\/cronjob\/CronjobAction.class.php","line":240,"function":"executeCronjobs","class":"wcf\\system\\cronjob\\CronjobScheduler","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/data\/AbstractDatabaseObjectAction.class.php","line":216,"function":"executeCronjobs","class":"wcf\\data\\cronjob\\CronjobAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/action\/AJAXProxyAction.class.php","line":92,"function":"executeAction","class":"wcf\\data\\AbstractDatabaseObjectAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/action\/AJAXInvokeAction.class.php","line":111,"function":"invoke","class":"wcf\\action\\AJAXProxyAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/action\/AbstractAction.class.php","line":57,"function":"execute","class":"wcf\\action\\AJAXInvokeAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/action\/AJAXInvokeAction.class.php","line":65,"function":"__run","class":"wcf\\action\\AbstractAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/request\/Request.class.php","line":90,"function":"__run","class":"wcf\\action\\AJAXInvokeAction","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/lib\/system\/request\/RequestHandler.class.php","line":107,"function":"execute","class":"wcf\\system\\request\\Request","type":"->","args":[]},{"file":"\/var\/www\/vhosts\/spirit.jetzt\/test.spirit.jetzt\/mediathek\/index.php","line":10,"function":"handle","class":"wcf\\system\\request\\RequestHandler","type":"->","args":["easymedia"]}]

Alles anzeigen

Cyperghost

So wie es aussieht hast du das omit für die API erreicht.

Das kann passieren mit dem System für Videokanäle, wenn er neue lädt und dort viele Videos enthalten sind.

Zusätzlich, gibt es eine Option, mit Du du ggfs. deaktivieren kannst, das er nicht prüft ob ein Link gültig ist.

Vermute das einfach durch das einfügen von neuen Inhalten und Abfragen ob Sachen noch gültig sind, zu viele Anfragen an Google gesendet wurden. Da durch hast Fuß Limit erreicht für den Tag.

Eisu

Wäre es eine Lösung, wenn ich den Cronjob «Videos von Videokanäle importieren(EasyMedia)» reduziere auf sagen wir 3x täglich? Würde dies weniger Abfragen generieren?

Noch eine Frage:

Was bedeutet im ACP -> EasyMedia «Videokanäle erneut synchronisieren»? Können hier Abfragen reduziert werden?

Cyperghost

Sowohl als auch hilft das zu reduzieren.

Das erste ist eher nur eine Lösung wenn du viel neuen content bringst, also neue Videokanäle einfügst. Ansonsten ist die zweite Option das wichtige die angepasst werden müsste für deine Bedürfnisse.

Eisu

Hm. Vielleicht kannst Du etwas machen, dass wenn das Kontingent ausgeschöpft ist, keine Videos geprüft und deaktiviert werden?

Cyperghost

Zitat von Eisu

Hm. Vielleicht kannst Du etwas machen, dass wenn das Kontingent ausgeschöpft ist, keine Videos geprüft und deaktiviert werden?

Du kannst die Option deaktivieren, das Videos deaktiviert werden

Eisu

Ja, vorübergehend ist das eine Lösung.

Eisu

Noch eine Frage:

Wenn bei «Videokanäle erneut synchronisieren» null Sekunden steht, wird nicht mehr nach neuen Videos in den Kanälen gesucht?

Cyperghost

Zitat von Eisu

Noch eine Frage:
Wenn bei «Videokanäle erneut synchronisieren» null Sekunden steht, wird nicht mehr nach neuen Videos in den Kanälen gesucht?

Nein, 0 bedeutet das theoretisch direkt nach dem Abrufen erneut gefragt werden kann.

Hier gibt es aber ein paar kleine Einschränkungen bzw. was das System im Hintergrund macht.

Wenn erfolgreich Synchronisiert wurde, wird beim nächsten synchronisieren die letzte zeit als Starzeit genommen für die Suche nach neuen Videos bei YouTube. Was dazu führt, das einmal geladene Videos nicht erneut überprüft werden müssen. Und das Kontingent von der API nicht unnötig beansprucht wird.

Dies Sache gilt aber nur für Einträge die schon mal Synchronisiert wurden mit dem Kanal. Ansonsten wird das Datum genommen, welches man eintragen kann bei dem erstellen des Videokanals

Eisu

Alles klar, vielen Dank für die Auskunft.

... und der Cronjob «Videos von Videokanälen importieren(EasyMedia)», was tut der?

Ich frage, weil ich mich wundere, woher diese «Abfragelast» kommt, denn es wurden bloss zwei Kanäle hinzugefügt. Ein Kanal ohne ein Datum einzutragen (Libera) und ein Kanal, der Videos von Anfang August an synchronisieren soll (Dirk Hessel).

Cyperghost

Zitat von Eisu

... und der Cronjob «Videos von Videokanälen importieren(EasyMedia)», was tut der?

Dieser Synchronisiert die externe Videokanäle z.b. mit YouTube.

Das Problem ist folgendes du hast bei YouTube ein Tages Limit von 10.000 Units.

Eine Suche kostet 100 Units. Aber, die Suche ist auf 50 Einträge pro Seite begrenzt. Das heißt, wenn der Verlinkte YouTube Kanal 400 Videos hat, entspricht dies 8 Seiten. Was am ende 800 Units sind. Zusätzlich muss aber noch einmal für alle Videos eine Anfrage gemacht werden im Hintergrund bezüglich Beschreibung, Vorschaubild etc., da die Suche keine vollständige Beschreibung mitliefert oder groß Vorschaubilder(Lediglich ~480x480). Was am ende dann nochmal 400 Units sind.

Sprich, wenn etwa 400 Videos drinnen sind und diese neu geladen werden, sollte dies kosten von etwa 1200 Units haben.

Aber, da ständig überprüft werden müsste ob neue Inhalte vorhanden sind, prüft das System natürlich alle X Minuten erneut. Und selbst wenn die Suche leer ist, kostet dies weitere 100 Units pro Videokanal. Leer bedeutet in diesem Fall, das System übergibt, ich habe bereits Einträge bis Datum X gib mir nur die neuen zurück. Und es gibt keine neuen Videos.

Das heißt, jede weitere 15 Minuten, wo ein Videokanal geprüft wird kostet das 100 Units pro Videokanal. Bei zwei Videokanäle, auch wenn der eine keine hat, kostet dich das pro Überprüfung 200 Units. Das heißt du kannst pro Tag nur 50 solcher Anfragen machen, ohne weitere Sachen aufzurufen.

Wenn du z.b. noch die Live-Statistik aktiv hast, oder manuell neue YouTube Videos hinzufügst, verbraucht dies ebenfalls nochmal je 1-3 Units.

Ich hoffe ich konnte dies einigermaßen verständlich rüberbringen. Wenn nicht, fragen gerne nochmal nach.

Eisu

Danke für die Expertise, das hilft mir sehr!

Nun dämmert mir, dass wir vor Jahren schon einmal an diesem Punkt waren, woraufhin wir die beiden Cronjobs empfindlich reduzierten auf 3 Jobs pro Tag. Danach „flutschte“ das System fehlerfrei.

Ich teste dies und gebe dann Feedback.

mmaark

Kann man das überprüfen, wie viele Zugriffe möglich sind mit Google API kostenlos? Damit man weiß dann auch, wann man aufhören sollte?

Das irgendwo es mitgezählt wird?

peter

Zitat von mmaark

Google API kostenlos

Ist die Google API kostenlos?

Alle „Maps Embed API“-Anfragen sind unbegrenzt kostenlos.

Cyperghost

Zitat von mmaark

Kann man das überprüfen, wie viele Zugriffe möglich sind mit Google API kostenlos? Damit man weiß dann auch, wann man aufhören sollte?
Das irgendwo es mitgezählt wird?

Du kannst in den Entwickler Tools von Google dies sehen.

Zitat von peter

Alle „Maps Embed API“-Anfragen sind unbegrenzt kostenlos.

Das ist durch aus korrekt. Aber hier geht es um die YouTube API, welche nur 10.00 Units in der Free Variante hat. Wie oben beschrieben.

----------------

In der Version 5.5.4, wird es diesbezüglich noch ein paar Änderungen geben, diese muss ich aber erst noch fertig stellen und testen.

Und zwar, kann man einstellen, das ein Link erst nach X Fehlgeschlagenen Aufrufen deaktiviert wird.

Sollte es z.b. bei YouTube um den Fehler handeln, dass das Kontingent aufgebraucht ist, wird es nicht als Fehlgeschlagen gewertet und später nochmal überprüft.

mmaark

Zitat von Cyperghost

Du kannst in den Entwickler Tools von Google dies sehen.
Das ist durch aus korrekt. Aber hier geht es um die YouTube API, welche nur 10.00 Units in der Free Variante hat. Wie oben beschrieben.

----------------
In der Version 5.5.4, wird es diesbezüglich noch ein paar Änderungen geben, diese muss ich aber erst noch fertig stellen und testen.
Und zwar, kann man einstellen, das ein Link erst nach X Fehlgeschlagenen Aufrufen deaktiviert wird.
Sollte es z.b. bei YouTube um den Fehler handeln, dass das Kontingent aufgebraucht ist, wird es nicht als Fehlgeschlagen gewertet und später nochmal überprüft.

Alles anzeigen

Wo genau? Entwickler Tools. find ich grad nicht auf Google.

Eisu

Zitat von mmaark

Wo genau? Entwickler Tools. find ich grad nicht auf Google.

https://cloud.google.com/ -> Konsole -> APIs und Dienste

Cyperghost

Zitat von mmaark

Wo genau? Entwickler Tools. find ich grad nicht auf Google.

Google Cloud Platform

mmaark

Falls man das überschreiten würde, und man würde eine Rechnung bekommen, ist das wahrscheinlich nur bisschen zum Zahlen oder?

Cyperghost

Zitat von mmaark

Falls man das überschreiten würde, und man würde eine Rechnung bekommen, ist das wahrscheinlich nur bisschen zum Zahlen oder?

Standardmäßig wirst du keine bekommen. Sobald du das Limit erreicht hast für die kostenlose Nutzung, kannst du einfach keine Anfragen mehr senden bzw. diese werden nicht von Google beantwortet/ausgeführt.

Video-Links wurden "spontan" deaktiviert

Informationen

Über uns