mirror
/
Jackett
mirror of https://github.com/Jackett/Jackett
1
0
Fork 0
Code Issues Releases Wiki Activity

Add Toloka.to Semi-Private Tracker. resolves #4970 (#5576)

This commit is contained in:
Kyrylo Mikos 2019-06-30 23:31:23 +03:00 committed by garfield69
parent eeb0e9b982
commit 3f8d4d968d
3 changed files with 338 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
README.md
View File

@ -117,6 +117,7 @@ Developer note: The software implements the [Torznab](https://github.com/Sonarr/
* Sharewood
* SkTorrent
* SoundPark
* Toloka.to
* Torrents-Local
* Union Fansub
* Vanila

324
src/Jackett.Common/Indexers/toloka.cs Normal file
View File

@ -0,0 +1,324 @@
using System;
using System.Collections.Generic;
using System.Collections.Specialized;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using AngleSharp.Html.Parser;
using Jackett.Common.Models;
using Jackett.Common.Models.IndexerConfig;
using Jackett.Common.Models.IndexerConfig.Bespoke;
using Jackett.Common.Services.Interfaces;
using Jackett.Common.Utils;
using Jackett.Common.Utils.Clients;
using Newtonsoft.Json.Linq;
using NLog;
namespace Jackett.Common.Indexers
{
public class Toloka : BaseWebIndexer
{
private string LoginUrl
{ get { return SiteLink + "/login.php"; } }
private string SearchUrl
{ get { return SiteLink + "/tracker.php"; } }
protected string cap_sid = null;
protected string cap_code_field = null;
private new ConfigurationDataToloka configData
{
get { return (ConfigurationDataToloka)base.configData; }
set { base.configData = value; }
}
public Toloka(IIndexerConfigurationService configService, WebClient wc, Logger l, IProtectionService ps)
: base(name: "Toloka.to",
description: "Toloka is a Semi-Private Ukrainian torrent site with a thriving file-sharing community",
link: "https://toloka.to/",
caps: TorznabUtil.CreateDefaultTorznabTVCaps(),
configService: configService,
client: wc,
logger: l,
p: ps,
configData: new ConfigurationDataToloka())
{
Encoding = Encoding.GetEncoding("utf-8");
Language = "uk-ua";
Type = "semi-private";
AddCategoryMapping(117, TorznabCatType.Movies, "Українське кіно");
AddCategoryMapping(84, TorznabCatType.Movies, "|-Мультфільми і казки");
AddCategoryMapping(42, TorznabCatType.Movies, "|-Художні фільми");
AddCategoryMapping(124, TorznabCatType.TV, "|-Телесеріали");
AddCategoryMapping(125, TorznabCatType.TV, "|-Мультсеріали");
AddCategoryMapping(129, TorznabCatType.Movies, "|-АртХаус");
AddCategoryMapping(219, TorznabCatType.Movies, "|-Аматорське відео");
AddCategoryMapping(118, TorznabCatType.Movies, "Українське озвучення");
AddCategoryMapping(16, TorznabCatType.Movies, "|-Фільми");
AddCategoryMapping(32, TorznabCatType.TV, "|-Телесеріали");
AddCategoryMapping(19, TorznabCatType.Movies, "|-Мультфільми");
AddCategoryMapping(44, TorznabCatType.TV, "|-Мультсеріали");
AddCategoryMapping(127, TorznabCatType.TVAnime, "|-Аніме");
AddCategoryMapping(55, TorznabCatType.Movies, "|-АртХаус");
AddCategoryMapping(94, TorznabCatType.MoviesOther, "|-Трейлери");
AddCategoryMapping(144, TorznabCatType.Movies, "|-Короткометражні");
AddCategoryMapping(190, TorznabCatType.Movies, "Українські субтитри");
AddCategoryMapping(70, TorznabCatType.Movies, "|-Фільми");
AddCategoryMapping(192, TorznabCatType.TV, "|-Телесеріали");
AddCategoryMapping(193, TorznabCatType.Movies, "|-Мультфільми");
AddCategoryMapping(195, TorznabCatType.TV, "|-Мультсеріали");
AddCategoryMapping(194, TorznabCatType.TVAnime, "|-Аніме");
AddCategoryMapping(196, TorznabCatType.Movies, "|-АртХаус");
AddCategoryMapping(197, TorznabCatType.Movies, "|-Короткометражні");
AddCategoryMapping(225, TorznabCatType.TVDocumentary, "Документальні фільми українською");
AddCategoryMapping(21, TorznabCatType.TVDocumentary, "|-Українські наукові документальні фільми");
AddCategoryMapping(131, TorznabCatType.TVDocumentary, "|-Українські історичні документальні фільми");
AddCategoryMapping(226, TorznabCatType.TVDocumentary, "|-BBC");
AddCategoryMapping(227, TorznabCatType.TVDocumentary, "|-Discovery");
AddCategoryMapping(228, TorznabCatType.TVDocumentary, "|-National Geographic");
AddCategoryMapping(229, TorznabCatType.TVDocumentary, "|-History Channel");
AddCategoryMapping(230, TorznabCatType.TVDocumentary, "|-Інші іноземні документальні фільми");
AddCategoryMapping(119, TorznabCatType.TVOTHER, "Телепередачі українською");
AddCategoryMapping(18, TorznabCatType.TVOTHER, "|-Музичне відео");
AddCategoryMapping(132, TorznabCatType.TVOTHER, "|-Телевізійні шоу та програми");
AddCategoryMapping(157, TorznabCatType.TVSport, "Український спорт");
AddCategoryMapping(235, TorznabCatType.TVSport, "|-Олімпіада");
AddCategoryMapping(170, TorznabCatType.TVSport, "|-Чемпіонати Європи з футболу");
AddCategoryMapping(162, TorznabCatType.TVSport, "|-Чемпіонати світу з футболу");
AddCategoryMapping(166, TorznabCatType.TVSport, "|-Чемпіонат та Кубок України з футболу");
AddCategoryMapping(167, TorznabCatType.TVSport, "|-Єврокубки");
AddCategoryMapping(168, TorznabCatType.TVSport, "|-Збірна України");
AddCategoryMapping(169, TorznabCatType.TVSport, "|-Закордонні чемпіонати");
AddCategoryMapping(54, TorznabCatType.TVSport, "|-Футбольне відео");
AddCategoryMapping(158, TorznabCatType.TVSport, "|-Баскетбол, хоккей, волейбол, гандбол, футзал");
AddCategoryMapping(159, TorznabCatType.TVSport, "|-Бокс, реслінг, бойові мистецтва");
AddCategoryMapping(160, TorznabCatType.TVSport, "|-Авто, мото");
AddCategoryMapping(161, TorznabCatType.TVSport, "|-Інший спорт, активний відпочинок");
// AddCategoryMapping(136, TorznabCatType.Other, "HD українською");
AddCategoryMapping(96, TorznabCatType.MoviesHD, "|-Фільми в HD");
AddCategoryMapping(173, TorznabCatType.TVHD, "|-Серіали в HD");
AddCategoryMapping(139, TorznabCatType.MoviesHD, "|-Мультфільми в HD");
AddCategoryMapping(174, TorznabCatType.TVHD, "|-Мультсеріали в HD");
AddCategoryMapping(140, TorznabCatType.TVDocumentary, "|-Документальні фільми в HD");
AddCategoryMapping(120, TorznabCatType.MoviesDVD, "DVD українською");
AddCategoryMapping(66, TorznabCatType.MoviesDVD, "|-Художні фільми та серіали в DVD");
AddCategoryMapping(137, TorznabCatType.MoviesDVD, "|-Мультфільми та мультсеріали в DVD");
AddCategoryMapping(137, TorznabCatType.TV, "|-Мультфільми та мультсеріали в DVD");
AddCategoryMapping(138, TorznabCatType.MoviesDVD, "|-Документальні фільми в DVD");
AddCategoryMapping(237, TorznabCatType.Movies, "Відео для мобільних (iOS, Android, Windows Phone)");
AddCategoryMapping(33, TorznabCatType.AudioVideo, "Звукові доріжки та субтитри");
AddCategoryMapping(8, TorznabCatType.Audio, "Українська музика (lossy)");
AddCategoryMapping(23, TorznabCatType.Audio, "|-Поп, Естрада");
AddCategoryMapping(24, TorznabCatType.Audio, "|-Джаз, Блюз");
AddCategoryMapping(43, TorznabCatType.Audio, "|-Етно, Фольклор, Народна, Бардівська");
AddCategoryMapping(35, TorznabCatType.Audio, "|-Інструментальна, Класична та неокласична");
AddCategoryMapping(37, TorznabCatType.Audio, "|-Рок, Метал, Альтернатива, Панк, СКА");
AddCategoryMapping(36, TorznabCatType.Audio, "|-Реп, Хіп-хоп, РнБ");
AddCategoryMapping(38, TorznabCatType.Audio, "|-Електронна музика");
AddCategoryMapping(56, TorznabCatType.Audio, "|-Невидане");
AddCategoryMapping(98, TorznabCatType.AudioLossless, "Українська музика (lossless)");
AddCategoryMapping(100, TorznabCatType.AudioLossless, "|-Поп, Естрада");
AddCategoryMapping(101, TorznabCatType.AudioLossless, "|-Джаз, Блюз");
AddCategoryMapping(102, TorznabCatType.AudioLossless, "|-Етно, Фольклор, Народна, Бардівська");
AddCategoryMapping(103, TorznabCatType.AudioLossless, "|-Інструментальна, Класична та неокласична");
AddCategoryMapping(104, TorznabCatType.AudioLossless, "|-Рок, Метал, Альтернатива, Панк, СКА");
AddCategoryMapping(105, TorznabCatType.AudioLossless, "|-Реп, Хіп-хоп, РнБ");
AddCategoryMapping(106, TorznabCatType.AudioLossless, "|-Електронна музика");
AddCategoryMapping(11, TorznabCatType.Books, "Друкована література");
AddCategoryMapping(134, TorznabCatType.Books, "|-Українська художня література (до 1991 р.)");
AddCategoryMapping(177, TorznabCatType.Books, "|-Українська художня література (після 1991 р.)");
AddCategoryMapping(178, TorznabCatType.Books, "|-Зарубіжна художня література");
AddCategoryMapping(179, TorznabCatType.Books, "|-Наукова література (гуманітарні дисципліни)");
AddCategoryMapping(180, TorznabCatType.Books, "|-Наукова література (природничі дисципліни)");
AddCategoryMapping(183, TorznabCatType.Books, "|-Навчальна та довідкова");
AddCategoryMapping(181, TorznabCatType.BooksMagazines, "|-Періодика");
AddCategoryMapping(182, TorznabCatType.Books, "|-Батькам та малятам");
AddCategoryMapping(184, TorznabCatType.BooksComics, "|-Графіка (комікси, манґа, BD та інше)");
AddCategoryMapping(185, TorznabCatType.AudioAudiobook, "Аудіокниги українською");
AddCategoryMapping(135, TorznabCatType.AudioAudiobook, "|-Українська художня література");
AddCategoryMapping(186, TorznabCatType.AudioAudiobook, "|-Зарубіжна художня література");
AddCategoryMapping(187, TorznabCatType.AudioAudiobook, "|-Історія, біографістика, спогади");
AddCategoryMapping(189, TorznabCatType.AudioAudiobook, "|-Сирий матеріал");
AddCategoryMapping(9, TorznabCatType.PC, "Windows");
AddCategoryMapping(25, TorznabCatType.PC, "|-Windows");
AddCategoryMapping(199, TorznabCatType.PC, "|-Офіс");
AddCategoryMapping(200, TorznabCatType.PC, "|-Антивіруси та безпека");
AddCategoryMapping(201, TorznabCatType.PC, "|-Мультимедія");
AddCategoryMapping(202, TorznabCatType.PC, "|-Утиліти, обслуговування, мережа");
AddCategoryMapping(239, TorznabCatType.PC, "Linux, Mac OS");
AddCategoryMapping(26, TorznabCatType.PC, "|-Linux");
AddCategoryMapping(27, TorznabCatType.PCMac, "|-Mac OS");
// AddCategoryMapping(240, TorznabCatType.PC, "Інші OS");
AddCategoryMapping(211, TorznabCatType.PCPhoneAndroid, "|-Android");
AddCategoryMapping(122, TorznabCatType.PCPhoneIOS, "|-iOS");
AddCategoryMapping(40, TorznabCatType.PCPhoneOther, "|-Інші мобільні платформи");
// AddCategoryMapping(241, TorznabCatType.Other, "Інше");
// AddCategoryMapping(203, TorznabCatType.Other, "|-Інфодиски, електронні підручники, відеоуроки");
// AddCategoryMapping(12, TorznabCatType.Other, "|-Шпалери, фотографії та зображення");
// AddCategoryMapping(249, TorznabCatType.Other, "|-Веб-скрипти");
AddCategoryMapping(10, TorznabCatType.PCGames, "Ігри українською");
AddCategoryMapping(28, TorznabCatType.PCGames, "|-PC ігри");
AddCategoryMapping(259, TorznabCatType.PCGames, "|-Mac ігри");
AddCategoryMapping(29, TorznabCatType.PCGames, "|-Українізації, доповнення, патчі...");
AddCategoryMapping(30, TorznabCatType.PCGames, "|-Мобільні та консольні ігри");
AddCategoryMapping(41, TorznabCatType.PCPhoneIOS, "|-iOS");
AddCategoryMapping(212, TorznabCatType.PCPhoneAndroid, "|-Android");
AddCategoryMapping(205, TorznabCatType.PCGames, "Переклад ігор українською");
}
public override async Task<IndexerConfigurationStatus> ApplyConfiguration(JToken configJson)
{
LoadValuesFromJson(configJson);
var pairs = new Dictionary<string, string>
{
{ "username", configData.Username.Value },
{ "password", configData.Password.Value },
{ "autologin", "on" },
{ "ssl", "on" },
{ "login", "Вхід" }
};
var result = await RequestLoginAndFollowRedirect(LoginUrl, pairs, CookieHeader, true, null, LoginUrl, true);
await ConfigureIfOK(result.Cookies, result.Content != null && result.Content.Contains("logout=true"), () =>
{
logger.Debug(result.Content);
var errorMessage = "Unknown error message, please report";
var LoginResultParser = new HtmlParser();
var LoginResultDocument = LoginResultParser.ParseDocument(result.Content);
var errormsg = LoginResultDocument.QuerySelector("h4[class=\"warnColor1 tCenter mrg_16\"]");
if (errormsg != null)
errorMessage = errormsg.TextContent;
throw new ExceptionWithConfigData(errorMessage, configData);
});
return IndexerConfigurationStatus.RequiresTesting;
}
protected override async Task<IEnumerable<ReleaseInfo>> PerformQuery(TorznabQuery query)
{
var releases = new List<ReleaseInfo>();
var searchString = query.SanitizedSearchTerm;
var queryCollection = new NameValueCollection();
// if the search string is empty use the getnew view
if (string.IsNullOrWhiteSpace(searchString))
{
queryCollection.Add("nm", searchString);
}
else // use the normal search
{
searchString = searchString.Replace("-", " ");
if (query.Season != 0)
{
searchString += " Сезон " + query.Season;
}
queryCollection.Add("nm", searchString);
}
var searchUrl = SearchUrl + "?" + queryCollection.GetQueryString();
var results = await RequestStringWithCookies(searchUrl);
if (!results.Content.Contains("logout=true"))
{
// re login
await ApplyConfiguration(null);
results = await RequestStringWithCookies(searchUrl);
}
try
{
string RowsSelector = "table.forumline > tbody > tr[class*=prow]";
var SearchResultParser = new HtmlParser();
var SearchResultDocument = SearchResultParser.ParseDocument(results.Content);
var Rows = SearchResultDocument.QuerySelectorAll(RowsSelector);
foreach (var Row in Rows)
{
try
{
var release = new ReleaseInfo();
release.MinimumRatio = 1;
release.MinimumSeedTime = 0;
var qDownloadLink = Row.QuerySelector("td:nth-child(6) > a");
if (qDownloadLink == null) // Expects moderation
continue;
var qDetailsLink = Row.QuerySelector("td:nth-child(3) > a");
var qSize = Row.QuerySelector("td:nth-child(7)");
release.Title = qDetailsLink.TextContent;
release.Comments = new Uri(SiteLink + qDetailsLink.GetAttribute("href"));
release.Link = new Uri(SiteLink + qDownloadLink.GetAttribute("href"));
release.Guid = release.Comments;
release.Size = ReleaseInfo.GetBytes(qSize.TextContent);
var seeders = Row.QuerySelector("td:nth-child(10) > b").TextContent;
if (string.IsNullOrWhiteSpace(seeders))
seeders = "0";
release.Seeders = ParseUtil.CoerceInt(seeders);
release.Peers = ParseUtil.CoerceInt(Row.QuerySelector("td:nth-child(11) > b").TextContent) + release.Seeders;
release.Grabs = 0;//ParseUtil.CoerceLong(Row.QuerySelector("td:nth-child(9)").TextContent);
var timestr = Row.QuerySelector("td:nth-child(13)").TextContent;
release.PublishDate = DateTimeUtil.FromFuzzyTime(timestr);
var forum = Row.QuerySelector("td:nth-child(2) > a");
var forumid = forum.GetAttribute("href").Split('=')[1];
release.Category = MapTrackerCatToNewznab(forumid);
release.DownloadVolumeFactor = 1;
release.UploadVolumeFactor = 1;
if (release.Category.Contains(TorznabCatType.TV.ID))
{
// extract season and episodes
var regex = new Regex(".+\\/\\s([^а-яА-я\\/]+)\\s\\/.+Сезон\\s*[:]*\\s+(\\d+).+(?:Серії|Епізод)+\\s*[:]*\\s+(\\d+-*\\d*).+,\\s+(.+)\\]\\s(.+)");
var title = regex.Replace(release.Title, "$1 - S$2E$3 - rus $4 $5");
title = Regex.Replace(title, "-Rip", "Rip", RegexOptions.IgnoreCase);
title = Regex.Replace(title, "WEB-DLRip", "WEBDL", RegexOptions.IgnoreCase);
title = Regex.Replace(title, "WEB-DL", "WEBDL", RegexOptions.IgnoreCase);
title = Regex.Replace(title, "HDTVRip", "HDTV", RegexOptions.IgnoreCase);
release.Title = title;
}
else if (configData.StripCyrillicLetters.Value)
{
var regex = new Regex(@"(\([А-Яа-яіІєЄїЇ\W]+\))|(^[А-Яа-яіІєЄїЇ\W\d]+\/ )|([а-яА-ЯіІєЄїЇ \-]+,+)|([а-яА-ЯіІєЄїЇ]+)");
release.Title = regex.Replace(release.Title, "");
}
releases.Add(release);
}
catch (Exception ex)
{
logger.Error(string.Format("{0}: Error while parsing row '{1}':\n\n{2}", ID, Row.OuterHtml, ex));
}
}
}
catch (Exception ex)
{
OnParseError(results.Content, ex);
}
return releases;
}
}
}

13
src/Jackett.Common/Models/IndexerConfig/Bespoke/ConfigurationDataToloka.cs Normal file
View File

@ -0,0 +1,13 @@
namespace Jackett.Common.Models.IndexerConfig.Bespoke
{
class ConfigurationDataToloka : ConfigurationDataBasicLogin
{
public BoolItem StripCyrillicLetters { get; private set; }
public ConfigurationDataToloka()
: base()
{
StripCyrillicLetters = new BoolItem() { Name = "Strip Cyrillic Letters", Value = true };
}
}
}