All Forums  eXtreme Movie Manager 8, 9, 10 Forum  Scripts  IMDb API & Web Scraping

Note: Only the poster of this message, and the Moderator can edit the message.

Screensize: 640 x 480 800 x 600 1024 x 768 1280 x 1024 UserName: Password: Format Mode: Basic  Help  Prompt  Format: Font Andale Mono Arial Arial Black Book Antiqua Century Gothic Comic Sans MS Courier New Georgia Impact Lucida Console Script MT Bold Stencil Tahoma Times New Roman Trebuchet MS Verdana   Size 1 2 3 4 5 6   Color Black Red Yellow Pink Green Orange Purple Blue Beige Brown Teal Navy Maroon LimeGreen Message: * HTML is OFF * Forum Code is ON Smilies Viele "letzte" Fragen. [quote][i]Originally posted by JDommi[/i] LocationPage - Ich hätte vermutet, dass hiermit eine bestimmte Seite geladen wird. Aber dann hätte die ja eigentlich vor dem List stehen müssen.[/quote] Was meinst du? Die LocationsPage enthält 3 Listen (FilmingDates, FilmingLocations und ProductionDates), aber je Liste maximal 5 Einträge wg. des "mehr"-Button-Problems (würde die Browser-Simulation benötigen, würde zu mehr Abfragen führen, alles Mist). Daher sollte man [b]ScrapeAllFilmingDatesAsync [/b]und [b]ScrapeAllFilmingLocationsAsync [/b]verwenden, falls man wirklich alle FilmingDates und alle FilmingLocations braucht. Hier wird jeweils eine JSON-Abfrage genutzt, die wesentlich flinker als HTML-Abfragen sind. Für ProductionDates habe ich keine JSON-Abfrage einbauen können, weil ich keinen Titel mit mehr als 5 Einträgen gefunden habe. Falls du einen findest, kann ich das noch einbauen. Bis dahin musst du für ProductionDates tatsächlich ScrapeLocationsPageAsync nutzen. [quote][i]Originally posted by JDommi[/i] Und noch eine letzte Frage, IMDB fragt ja die CountryLocale des users ab und zeigt auf der Seite dann z.B. den Plot auf deutsch an. Kannst du das mit dem Scraper auch nachbilden? Evtl. per zusätzlicher Option?[/quote] Das ist bereits drin - wird aber leider nur in der MainPage (also ScrapeMainPageAsync) bei Outline übersetzt. Alles andere liefert nur englische Texte (selbst bei der Handlungs-Seite, bspw. hier: [url]https://www.imdb.com/title/tt0133093/plotsummary/[/url] [quote][i]Originally posted by JDommi[/i] Last but not least: Bei den Distributoren fehlt noch Land, Jahr und Medium. Dann könnte man z.B. nur die deutschen Vertriebe rausfiltern. Außerdem wären dann auch keine doppelten Einträge vorhanden.[/quote] Auch das ist schon drin. Du debuggst offenbar nicht richtig. Checke mal diese Eigenschaften: Countries, Notes, YearFrom und YearTo. Wegen unterschiedlicher Jahre gibt es auch mehrfache Einträge zur selben Firma. Das ist auch so auf der IMDb-Seite. Beim Medium weiß ich grad nich aus der Kalten, ob ich die zusammengeführt habe. Glaub schon. Debuggen: [url]https://www.youtube.com/watch?v=u-HdLtqEOog[/url] [quote][i]Originally posted by JDommi[/i] Warum ist der letzte Eintrag trotzdem doppelt (Film: Matrix - 1999)?[/quote] Wie gesagt: wegen der Jahre. [quote][i]Originally posted by JDommi[/i] Hier habe ich Schwierigkeiten: [code] sbExport.AppendLine($"---Connections FollowedBy"); foreach (Connection connection in connections.FollowedBy) { sbExport.AppendLine($"{connection.AssociatedTitle.URL}|{connection.AssociatedTitle.LocalizedTitle} ({connection.AssociatedTitle.YearFrom})"); } [/code] Wie iteriere ich durch alle Kategorien, die nicht leer sind? [/quote] Es gibt bei den Connections keine leeren Kategorien. Das ist dort im Grunde sogar doppelt drin, weil ich die Kategorie einmal als Eigenschaft und einmal als eigenständige Listen habe. Du musst bei den "FollowedBy" und "Follows" auch beachten, dass er da von dem momentanen Titel ausgeht. D.h. eine vollständige Sammlung erhälst du nur durch FollowedBy beim allerersten Titel oder durch Follows beim allerletzten Titel. Ich würde es so umsetzen, um eine vollständige Sammlung zu erhalten: - lese Follows: --- wenn es leer ist, ist es der allererste Titel --- wenn es gefüllt ist, ist der erste Eintrag der allererste Titel - lies FollowedBy des allerersten Titel   Check here to include your profile signature.