Fail to download torrent file if we got redirect and we use cookie #410

antonsoroko · 2024-04-29T10:52:47Z

найдено из-за #400

с https://www3.yggtorrent.wtf сейчас идёт редирект на https://www3.yggtorrent.cool

казалось бы не надо ничего менять в json конфиге, но если не сменить домен для хотя бы "torrent": то не получается скачать торрент файл.

Если в elementum включить встроенный прокси, у него включить дебаг в лог, а в burst включить использование этого прокси - то будет видно что происходит:
идёт авторизация на .wtf, получает редирект на .cool, получает куки на .cool, идёт скачивание на .wtf без кук (у нас куки от другого домена), получает редирект 301 .cool, идёт на .cool с куками, но сайт отвечает что надо авторизоваться. Если редиректов нет (если поправить json для хотябы "torrent":), то работает нормально с теми же куками.
Поиск работает нормально с редиректом, потому что не обязательна авторизация для поиска у них, а вот именно скачка торрента не работает, так как там обязательна авторизация у них. ~~Но мы выставляем же куки вроде, как у меня в логе ниже.~~ похоже что не выставляем.

Я так и не понял это проблема самого сайта или burst. @elgatito прошу глянуть.

DEBU  proxy        ▶ dumpRequest      [787] --> GET https://www3.yggtorrent.wtf:443/engine/download_torrent?id=1054618
DEBU  proxy        ▶ dumpRequest      REQUEST:
GET /engine/download_torrent?id=1054618 HTTP/1.1
Host: www3.yggtorrent.wtf
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36

DEBU  proxy        ▶ dumpResponse     [787] <-- 301 https://www3.yggtorrent.wtf:443/engine/download_torrent?id=1054618
DEBU  proxy        ▶ dumpResponse     RESPONSE:
HTTP/1.1 301 Moved Permanently
Content-Length: 167
Alt-Svc: h3=":443"; ma=86400
Cache-Control: max-age=3600
Cf-Ray: 87b7c6091c563253-VIE
Connection: keep-alive
Content-Type: text/html
Date: Sun, 28 Apr 2024 14:34:31 GMT
Expires: Sun, 28 Apr 2024 15:34:31 GMT
Location: https://www3.yggtorrent.cool/engine/download_torrent?id=1054618
Nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=URPG%2B3LeBNnH5v7fBD9tBYcjVvWr%2FymO3ywcXyY5rZF%2FaZ5MCoasHzuu2y3QXmnDt%2FlxnXkl%2BjtpCNyKEeWbwKKCU9EHtnRRQjLcQ679BqXIdZKZw8nvu4k3Rrgp8PVd3eB%2B57tK"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Vary: Accept-Encoding

<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>cloudflare</center>
</body>
</html>

DEBU  proxy        ▶ dumpRequest      [821] --> GET https://www3.yggtorrent.cool:443/engine/download_torrent?id=1054618
DEBU  proxy        ▶ dumpRequest      REQUEST:
GET /engine/download_torrent?id=1054618 HTTP/1.1
Host: www3.yggtorrent.cool
Referer: https://www3.yggtorrent.wtf/engine/download_torrent?id=1054618


DEBU  proxy        ▶ dumpResponse     [821] <-- 200 https://www3.yggtorrent.cool:443/engine/download_torrent?id=1054618
DEBU  proxy        ▶ dumpResponse     RESPONSE:
HTTP/1.1 200 OK
Transfer-Encoding: chunked
Cache-Control: no-store, no-cache, must-revalidate
Cf-Cache-Status: DYNAMIC
Cf-Ray: 87b7c60b8e602bcd-FRA
Connection: keep-alive
Content-Type: text/html; charset=UTF-8
Date: Sun, 28 Apr 2024 14:34:31 GMT
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Pragma: no-cache
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=rZ5bMQsNoZ8SRTfP8p6UKStEjx1w6ixSZb4ROxCEpP%2BNDCZNXTmTLjc1C8Y1%2FedQwuu8%2B8mIQhAo7ecL5Xa0ZJuT3xbwzyRwAzD5g8kzoB7czsUz6GOlselzHbQpf%2BA47JB6KPif"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Set-Cookie: ygg_=xxx; expires=Sun, 28-Apr-2024 16:34:31 GMT; Max-Age=7200; path=/; SameSite=None; domain=.yggtorrent.cool; secure; HttpOnly
X-Content-Type-Options: nosniff
X-Frame-Options: SAMEORIGIN

37
Vous devez vous connecter pour télécharger un torrent
0

WARN  linkssearch  ▶ 1                Resolve failed for https://www3.yggtorrent.wtf/engine/download_torrent?id=1054618|User-Agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 : Invalid input

Vous devez vous connecter pour télécharger un torrent -> Вы должны войти в систему, чтобы скачать торрент

UPD:
ещё вижу что был фикс когда-то на похожую тему "added fixes for having redirections from providers".

The text was updated successfully, but these errors were encountered:

antonsoroko · 2024-04-29T14:59:51Z

@elgatito
а вот запрос и ответ без редиректов когда

�[36mDEBU  proxy        ▶ dumpRequest      �[0m[321] --> GET https://www3.yggtorrent.cool:443/engine/download_torrent?id=1054782
�[36mDEBU  proxy        ▶ dumpRequest      �[0mREQUEST:
GET /engine/download_torrent?id=1054782 HTTP/1.1
Host: www3.yggtorrent.cool
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,uk;q=0.6,pl;q=0.5
Cache-Control: max-age=0
Content-Language: en
Cookie: ygg_=XXX
Origin: https://www3.yggtorrent.cool/engine/search?do=search&name=flash+2023&order=desc&sort=seed
Referer: https://www3.yggtorrent.cool/engine/search?do=search&name=flash+2023&order=desc&sort=seed
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 OPR/109.0.0.0

�[36mDEBU  proxy        ▶ dumpResponse     �[0m[321] <-- 200 https://www3.yggtorrent.cool:443/engine/download_torrent?id=1054782
�[36mDEBU  proxy        ▶ dumpResponse     �[0mRESPONSE:
HTTP/1.1 200 OK
Content-Length: 83909
Cache-Control: no-store, no-cache, must-revalidate
Cf-Cache-Status: DYNAMIC
Cf-Ray: 87c012a3bb7a04aa-CDG
Connection: keep-alive
Content-Disposition: attachment; filename="The.Flash.2023.MULTI.2160p.HDR10Plus.DV.WEBRip.6CH.x265.HEVC-Elcrackito.mkv.torrent"
Content-Type: application/x-bittorrent
Date: Mon, 29 Apr 2024 14:44:55 GMT
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Pragma: no-cache
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=UXriaE%2BrPVDt6e8ZgyMSUJKm2uia%2BKqIqzH7OPVqppQ2gRAxFfXYzSEMQVr9GR9Ftk8Mo9RhybqGP6mVpGrv7sh%2Byt%2FjrugLCyLcB1ZOx7Ys0ZMFSSwIGx53YeQj04QNs7aMyOjl"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
X-Content-Type-Options: nosniff
X-Frame-Options: SAMEORIGIN

и тут видно что мы в запросе выставляем Cookie: ygg_=XXX , и если сравнить с логом выше то видно что там мы не выставляем Cookie.
короче, получается мы не выставляем Cookie если есть редирект.

elgatito · 2024-04-29T15:16:49Z

казалось бы не надо ничего менять в json конфиге, но если не сменить домен для хотя бы "torrent": то не получается скачать торрент файл.

Проблема обычно в этом - https://github.com/elgatito/script.elementum.burst/blob/master/burst/providers/providers.json#L2873

Если ссылка на торрент формируется исходя из домена, который в base_url, то нужно чтоб эти значения были актуальными, потому что куки на реальный домен выписываются, а не тот что мы предполагаем. Поэтому Burst авторизуется, получает список, отдаёт Elementum вместе с куками, но Elementum получить ничего не может, потому что кука выписана на один домен, а стучимся мы на другой.

Наверное нужно в Burst переделать формирование ссылок чтоб везде правильные домены были и работало оно везде одинаково.

И убрать такие вещи - https://github.com/elgatito/script.elementum.burst/blob/master/burst/providers/providers.json#L124 , чтоб домен подставлялся через Burst по той же логике (если это тот же домен).

antonsoroko · 2024-04-29T15:46:13Z

@elgatito

по поводу

script.elementum.burst/burst/providers/providers.json

Line 2873 in cd5784a

"torrent": "'/engine/download_torrent?id=%s' % item(tag='a', attribute='target', order=3)"

там как раз таки был жестко прописал домен, но старый. я в последних комитах сделал, чтобы можно было относительные ссылки делать, чтобы проще было менять старый домен на новый.

или я не понял что ты хотел сказать по поводу "Проблема обычно в этом".

по поводу кук я уже понял где косяк:
добавил перед

script.elementum.burst/burst/burst.py

Line 401 in cd5784a

if cookies:

log.debug("[%s] cookie_domain: %s" % (provider, repr(cookie_domain)))
log.debug("[%s] Cookies: %s" % (provider, repr(cookies)))

и понял что да, получили мы до этого куку на один домен а в итоге делаем запрос на другой
[yggtorrent] cookie_domain: 'yggtorrent.wtf'
[yggtorrent] Cookies: []

соотв куки пустые.

всё как ты описал.

было бы приколько если бы библиотека могла сама брать общие куки и из них выбирать куки для запроса, тогда бы работало для редиректом, да и не приходилось бы в коде парсить файл с куками.

если такую магию сделать нельзя, то тогда придётся менять домены всегда руками в конфиге.

antonsoroko · 2024-04-29T18:08:07Z

По поводу автоматической подстановки cookie для всех запросов - в принципе было бы круто такую фичу иметь, но конкретно для редиректов это может и не супер критично, потому что редиректы это временное решение авторов трекера и в какой-то момент придётся всё равно поменять домен в конфиге (когда старый домен отвалится).

Но было бы интересно посмотреть на техническую реализацию с куками.

elgatito · 2024-04-30T11:24:32Z

было бы приколько если бы библиотека могла сама брать общие куки и из них выбирать куки для запроса, тогда бы работало для редиректом, да и не приходилось бы в коде парсить файл с куками.

Есть общий cookie jar в Burst, где хранятся все куки и для каждого домена выбираются и передаются к Elementum. Передавать весь cookie jar в теории наверное можно, но это может быть большой размер хранилища.

antonsoroko · 2024-04-30T11:50:47Z

@elgatito я имел ввиду другое: не руками выставлять куки для запроса в конкретном месте для конкретного запроса, как в

script.elementum.burst/burst/burst.py

Line 401 in cd5784a

if cookies:

а как-то в общем, внутри http вызовов выставлять куки, чтобы даже если произошел редирект, то все равно куки выставились бы автоматически.

ну это наверное надо менять именно код http клиента.
просто интересно, возможно ли так сделать.

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Fail to download torrent file if we got redirect and we use cookie #410

Fail to download torrent file if we got redirect and we use cookie #410

antonsoroko commented Apr 29, 2024 •

edited

Loading

antonsoroko commented Apr 29, 2024

elgatito commented Apr 29, 2024

antonsoroko commented Apr 29, 2024

antonsoroko commented Apr 29, 2024

elgatito commented Apr 30, 2024

antonsoroko commented Apr 30, 2024

Fail to download torrent file if we got redirect and we use cookie #410

Fail to download torrent file if we got redirect and we use cookie #410

Comments

antonsoroko commented Apr 29, 2024 • edited Loading

antonsoroko commented Apr 29, 2024

elgatito commented Apr 29, 2024

antonsoroko commented Apr 29, 2024

antonsoroko commented Apr 29, 2024

elgatito commented Apr 30, 2024

antonsoroko commented Apr 30, 2024

antonsoroko commented Apr 29, 2024 •

edited

Loading