Шашки в России

Шашечные программы - Рейтинги шашечных программ

Kallisto - Май 07, 2007 - 07:07 AM
Тема сообщения: Рейтинги шашечных программ
Я иногда запускаю матчи между шашечными движками. Из результатов можно составить рейтинг-лист (по минуте на партию):

Код:

Place     Name                      Rating      Perf.   Av.opp    Games

   1. Kallisto 1                     2450     0.685022   2293      227       
   2. KestoG 1.3                     2383     0.60093    2297      753       
   3. KestoG 1.2                     2307     0.511905   2297      714       
   4. MiuMiu                         2299     0.456467   2336      1183     
   5. Skifi 0.03                     2293     0.427954   2354      1041     


Если это кому-нибудь интересно, то буду здесь выкладывать обновления рейтингов.

В дальнейшем можно будет попробовать сделать рейтинг для 5 минут на партию. Рейтинги вероятно очень сильно сожмутся.
Alkand - Май 07, 2007 - 11:26 AM
Тема сообщения:
Конечно интересно.
Кстати, выкладываю старенький рейтинг программ, что Владимир Шулюпов сделал. Может он время найдет его обновить ? Добавить Кубки сайта и матчи Тундры с ПЛЮСОМ и Каллисто.
Kallisto - Май 07, 2007 - 11:48 AM
Тема сообщения:
Еще было бы интересно выравнять рейтинги программ с человеческими. Может кто-то, имеющий рейтинг, играл с каким-нибудь движком довольно много?

Или может найдется человек с рейтингом, который сыграет большой матч в леталки против "Каллисто 1". Я предполагаю она играет где-то между кандидатом и мастером.
letas - Май 07, 2007 - 03:10 PM
Тема сообщения:
Будет оболочка для движков типа шахматной "Арены".Найдутся желающие проводить матчи между движками.Да и движков скорее всего прибавиться.Хотя и то что Вы уже успели сделать является огромным вкладом в развитие шашек.
NS - Май 07, 2007 - 05:26 PM
Тема сообщения:
Цитата:
Конечно интересно.
Кстати, выкладываю старенький рейтинг программ, что Владимир Шулюпов сделал. Может он время найдет его обновить ? Добавить Кубки сайта и матчи Тундры с ПЛЮСОМ и Каллисто.


Это не рейтинг, а издевательство над здравым смыслом.
Кто-же так считает рейтинги программ?
Alkand - Май 07, 2007 - 06:41 PM
Тема сообщения:
NS прошу вас не переходить за рамки. Поверьте мне, Владимир в рейтингах (и в шашках) понимает ну никак не меньше вашего.
Ну, если вы занимаетесь обсчетом рейтингов и игрой в шашки не более 15 лет Embarassed
NS - Май 07, 2007 - 07:48 PM
Тема сообщения:
Вы посмотрите на разницу между сильнейшей и слабейшей программой!
Формула Эло была придумана для простого расчета силы в условиях возможного её изменения во времени.
Пересчет после каждой партии/турнира через отклонение от ожидаемого результата.

1. Сила конкретной версии программы не меняется во времени.
2. Простой расчет в данном случае не нужен.

Что нужно для программ? Расчет наиболее достоверного рейтинга
Который считается методом наибольшего правдоподобия.


Расчет рейтингов программ в русских шашках застрял в каменном веке.

Поищите что такое BayesElo и EloStat, и посмотрите как нужно считать рейтинги программ

Возьмете любые крупные рейтинг-листы шахматных программ, и посмотрите как расчитан рейтинг.

Когда программа сыгравшая только в одном турнире, и набравшая 2 очка из 12-ти возможных отстает от лидера рейтинг-листа меньше чем на сотню пунктов Эло - это даже не смешно!
Kallisto - Май 07, 2007 - 08:10 PM
Тема сообщения:
На самом деле. Ведь достоверность такого рейтинга просто никакая.
По такому малому количеству партий никакой способ составления рейтингов не поможет.

Тут нужны тысячи (в крайнем случае сотни) партий. И применять методы расчета человеческих рейтингов здесь нет необходимости.
NS - Май 07, 2007 - 08:13 PM
Тема сообщения:
Да, но нормальные методы дадут цифры хоть немного, но похожие на правду. Хотя конечно доверительный интервал по 12 париям очень велик, но в приведенном случае рейтинг посчитанный русским шашкам просто вне доверительного интервала.
Alkand - Май 07, 2007 - 08:27 PM
Тема сообщения:
Kallisto писал(а):
На самом деле. Ведь достоверность такого рейтинга просто никакая.
По такому малому количеству партий никакой способ составления рейтингов не поможет.

Тут нужны тысячи (в крайнем случае сотни) партий. И применять методы расчета человеческих рейтингов здесь нет необходимости.
Если есть желание, можно ввести неофициальный "рейтинг программ сайта". Даже два. Один посчитать по итогам турниров, пусть их и было немного. Но там каждая программа получит свой рейтинг.
А второй можете считать по итогам матчей, который проводите вы и другие энтузиасты.
Kallisto - Май 07, 2007 - 08:29 PM
Тема сообщения:
NS писал(а):
но в приведенном случае рейтинг посчитанный русским шашкам просто вне доверительного интервала.

А вот это ты зря. Доверительный интервал можно посчитать даже для такого метода. Нижняя граница будет несколько сотен пунктов.
NS - Май 07, 2007 - 08:33 PM
Тема сообщения:
Цитата:
А вот это ты зря. Доверительный интервал можно посчитать даже для такого метода. Нижняя граница будет несколько сотен пунктов.


Доверительный интервал можно посчитать для любого метода Smile
Только в данном случае это будет [-много;+0]

приведенный рейтинг выйдет за доверительные 95% интервалы ЭлоСтата.

Что мешает скинуть все партии в .pdn и посчитать рейтинг ЭлоСтатом?
Kallisto - Май 07, 2007 - 08:33 PM
Тема сообщения:
Alkand писал(а):
Один посчитать по итогам турниров, пусть их и было немного. Но там каждая программа получит свой рейтинг.

OK. Но доверительные интервалы будут уж очень большие.
В шахматах еще ни у кого не появлялась идея посчитать рейтинг по результатам официальных турниров Smile
Kallisto - Май 07, 2007 - 08:35 PM
Тема сообщения:
NS писал(а):
Что мешает скинуть все партии в .pdn и посчитать рейтинг ЭлоСтатом?

Глючный он. Я уж лучше своей программкой посчитаю.
Но тут дело в том, что в турнирах выступали разные версии программ. Так что мы по-любому хорошего рейтинга не получим.
alemo - Май 07, 2007 - 09:16 PM
Тема сообщения:
Kallisto писал(а):
Но тут дело в том, что в турнирах выступали разные версии программ. Так что мы по-любому хорошего рейтинга не получим.

Если я правильно понимаю - не только разные версии программ. Из того, что я тут читал на форуме, у меня сложилось апечптление, что некоторые матчи носили тестовый характер.

Сделал изменения, сыграл товарищеский матч с другой программой, проверился. Или проверили влияние ЭБ Laughing - одной программе дали 6-ку, а другой 7-ку. Ну и так далее. Если будут считаться рейтинги по результатам таких матчей - народ будет бояться играть.

Или я ошибаюсь ?

А кстати, зачем вообще нужны все эти рейтигни, если и турниров-матчей, и партий, с гулькин нос ? Laughing

Не хотите ли заодно ввести отдельные рейтинги на "5 секунд на ход", "10 секунд на ход" Laughing Результаты могут быть о-о-о-чень разные.

АЛЕМО
Kallisto - Май 07, 2007 - 09:39 PM
Тема сообщения:
alemo писал(а):
Если будут считаться рейтинги по результатам таких матчей - народ будет бояться играть.

Народ и так боится играть.
alemo писал(а):

Не хотите ли заодно ввести отдельные рейтинги на "5 секунд на ход", "10 секунд на ход" Laughing Результаты могут быть о-о-о-чень разные.

Нет, результаты будут похожими. Но чем больше времени, тем меньше будет разница между слабыми и сильными.
А до контроля "время на ход" мы не опустимся Smile
Alkand - Май 08, 2007 - 09:48 AM
Тема сообщения:
Kallisto писал(а):
Но тут дело в том, что в турнирах выступали разные версии программ. Так что мы по-любому хорошего рейтинга не получим.
Зато это будет реальный турнирный рейтинг программ.
А то ведь как можно сделать. Сыграла программа плохо, заявляешь, что выступала тестовая версия. Сыграла удачно - значит самая последняя Very Happy
NS - Май 08, 2007 - 10:13 AM
Тема сообщения:
Варианта два (ЭлоСтат мне тоже не нравится)
1. Посчитать рейтинги Сонаса - тут результат расчета моей программой совпадает с результатом расчета программы Игоря.
2. Посчитать рейтинги Эло, у меня напиана программа, считает вместе с доверительными интервалами. Сейчас попробую её найти и посчитать...
Если кому интересно могу расписать математику расчета рейтингов Эло методом наибольшего правдоподобия. Максимизруемая функция очень простая. (это функция дает вероятность того что при данных рейтингах случится получившийся результат всех микроматчей)
Доверительные интервалы зависят от вероятности ничьи.
Kallisto - Май 08, 2007 - 10:43 AM
Тема сообщения:
Alkand писал(а):
А то ведь как можно сделать. Сыграла программа плохо, заявляешь, что выступала тестовая версия. Сыграла удачно - значит самая последняя Very Happy

Обычно так и делают Smile
Вот почему мне интересны только рейтинги программ с отрытым протоколом. Можно провести сколько будет угодно партий и для всех версий этой программы. И тогда объективная сила сила игры будет очевидна.

[quote=NS]Доверительные интервалы зависят от вероятности ничьи.[/quote]
Фиксированной вероятности ничьей нет. Она зависит, от силы соперников, или даже от их стиля.
NS - Май 08, 2007 - 10:49 AM
Тема сообщения:
Цитата:
Фиксированной вероятности ничьей нет. Она зависит, от силы соперников, или даже от их стиля.


то что я выкладывал счтает доверительные интервалы для худшего случая... прстейший способ - задается вероятность ничьи для равных соперников, при разнице в силе вероятность ничьи высчитывается. Примерно как в BayesElo, только у них кривая формула.

Вобще формула логарифма вероятности результата матча -
(КоличествоПобед*ln(ВероятностьПобеды)+КоличествоПоражений*ln(1-ВероятностьПобеды))*С

Где С - константа для данной игры, и зависит от вероятности ничьи...
сами рейтинги от константы C не зависят, от неё зависят только доверительные интервалы.

КоличествоПобед=Выиграли+Ничьих/2
КоличествоПоражений=Проиграли+Ничьих/2

Худший случай доверительных интервалов, для случая когда ничья невозможна C=1
alemo - Май 08, 2007 - 12:21 PM
Тема сообщения:
Мне тут так и не ответили на вопрос - зачем нужны эти рейтинги ? Похоже никто над этим особо не задумывался. Для дела они могут нанести огромный вред. И если раньше "тренировочные" Laughing матчи игрались, то теперь врядли будут. Какая от этого польза ?

АЛЕМО
NS - Май 08, 2007 - 12:31 PM
Тема сообщения:
Ранжирование движков никакого вреда нанести не могут.
Во первых это интересное занятие для многих людей (проводить турниры между движками)
Во вторых многим интересно - какова всё-таки разница в силе между движками, и какова их иерархия.
Kallisto - Май 08, 2007 - 12:33 PM
Тема сообщения:
alemo писал(а):
Мне тут так и не ответили на вопрос - зачем нужны эти рейтинги ?

Ответ кажется очевиден. Чтобы знать в какую силу играет та или иная программа. Сейчас об этом судить просто невозможно.
plus600 - Май 08, 2007 - 01:56 PM
Тема сообщения:
NS писал(а):
...Во вторых многим интересно - какова всё-таки разница в силе между движками, и какова их иерархия.

Простите, а сколько у нас есть ДВИЖКОВ? И сколько из них сильных настолько, чтобы они были интересны не только создателям?
NS - Май 08, 2007 - 02:03 PM
Тема сообщения:
Простите, а сколько у нас есть ДВИЖКОВ? И сколько из них сильных настолько, чтобы они были интересны не только создателям?

Пользователям интересны не только сильные движки.
А движков - только под интерфейс Каллисто уже написаны движки четыремя авторами, а если добавить движок Александра Быкова - то получается уже пять авторов. Это русские шашки.
Я выложу еще версии в пул и бразильские, сейчас начал настраивать ОФ в чеккерс. Движков не так уж и мало, даже под этот протокол. Причем каждый движок имеет несколько версий.
plus600 - Май 08, 2007 - 02:11 PM
Тема сообщения:
То есть, ответ на мой второй вопрос - один.
NS - Май 08, 2007 - 02:12 PM
Тема сообщения:
Нет, ответ другой - пользователям интересны не только сильные движки.
alemo - Май 08, 2007 - 02:13 PM
Тема сообщения:
NS писал(а):
сейчас начал настраивать ОФ в чеккерс.

Otlichno !

Ne koristi radi ... Pomosh trebuyetsya ? Mogu i poigrat s dvizhkom, kogda budet gotov. Koroche - budu rad pomoch chem mogu ... esli nado Laughing

Chem bolshe dvizhkov v checkers - tem luchshe ! Mozhet bit dazhe imeet smisl dobavit ego k CheckerBoard Idea kogda vse budet gotovo.

Aleksandr
NS - Май 08, 2007 - 02:17 PM
Тема сообщения:
Цитата:
Otlichno !

Ne koristi radi ... Pomosh trebuyetsya ? Mogu i poigrat s dvizhkom, kogda budet gotov. Koroche - budu rad pomoch chem mogu ... esli nado

Chem bolshe dvizhkov v checkers - tem luchshe ! Mozhet bit dazhe imeet smisl dobavit ego k CheckerBoard kogda vse budet gotovo.

Aleksandr


Пока я посчитаю оценку через баланс шашек. Выложить смогу только в конце июня. А потом уже, после первой версии начну думать о поиске позиционных признаков.
Kallisto - Май 08, 2007 - 02:42 PM
Тема сообщения:
plus600 писал(а):
И сколько из них сильных настолько, чтобы они были интересны не только создателям?

Какое это имеет значение? Неужели ответ на этот вопрос что-то меняет?

Ну допустим четверым это интересно. Или предположим четырем сотням. Что от этого изменится?
plus600 - Май 08, 2007 - 03:05 PM
Тема сообщения:
NS писал(а):
Нет, ответ другой - пользователям интересны не только сильные движки.

Беда в том. что я про это не спрашивал. С Вашим утверждением спорить трудно, безусловно оно правильно, проблема только в том, СКОЛЬКО таких пользователей. Единицы
plus600 - Май 08, 2007 - 03:07 PM
Тема сообщения:
Kallisto писал(а):
plus600 писал(а):
И сколько из них сильных настолько, чтобы они были интересны не только создателям?

Какое это имеет значение? Неужели ответ на этот вопрос что-то меняет?

Ну допустим четверым это интересно. Или предположим четырем сотням. Что от этого изменится?

Конечно меняет, разве это не очевидно? Он меняет ответ на вопрос - зачем нужны эти рейтенги. Если 4 - не нужные, 400 - может быть и нужны.
Kallisto - Май 08, 2007 - 03:17 PM
Тема сообщения:
plus600 писал(а):
Конечно меняет, разве это не очевидно? Он меняет ответ на вопрос - зачем нужны эти рейтенги. Если 4 - не нужные, 400 - может быть и нужны.

Достаточно меня одного, чтобы рейтинги были нужны.
Для публикования на форуме достаточно еще одного человека, которому они интересны.

Никакой необходимости в поиске еще 398-и я не вижу.
plus600 - Май 08, 2007 - 03:30 PM
Тема сообщения:
Я же не про публикацию на форуме. Тут спорит трудно, разве что, нужно три, а не два человека. Втором упроще написать. И то не принципиально Laughing
Kallisto - Май 08, 2007 - 03:46 PM
Тема сообщения:
plus600 писал(а):
Я же не про публикацию на форуме.

Так о чем же тогда?
letas - Май 08, 2007 - 04:18 PM
Тема сообщения:
plus600 писал(а):
NS писал(а):
...Во вторых многим интересно - какова всё-таки разница в силе между движками, и какова их иерархия.

Простите, а сколько у нас есть ДВИЖКОВ? И сколько из них сильных настолько, чтобы они были интересны не только создателям?

Будем надеяться,что это не просто интерес,проявленный Старцевым к данной теме.А он также решил сделать свой движок(и) на основе Plus(ов).
plus600 - Май 08, 2007 - 04:28 PM
Тема сообщения:
Kallisto писал(а):
plus600 писал(а):
Я же не про публикацию на форуме.

Так о чем же тогда?

О нужности рейтингов движков.
plus600 - Май 08, 2007 - 04:30 PM
Тема сообщения:
letas писал(а):

Будем надеяться,что это не просто интерес,проявленный Старцевым к данной теме.А он также решил сделать свой движок(и) на основе Plus(ов).

Простите, а ЗАЧЕМ мне это?
Kallisto - Май 08, 2007 - 04:41 PM
Тема сообщения:
plus600 писал(а):
О нужности рейтингов движков.

Я же уже сказал, что они нужны.
letas - Май 08, 2007 - 05:02 PM
Тема сообщения:
plus600 писал(а):
letas писал(а):

Будем надеяться,что это не просто интерес,проявленный Старцевым к данной теме.А он также решил сделать свой движок(и) на основе Plus(ов).

Простите, а ЗАЧЕМ мне это?

А зачем мне нужно было несколько дней убить на проверку работы Plus 600 с базами? Просто было интересно....И ничего более.
plus600 - Май 08, 2007 - 05:36 PM
Тема сообщения:
letas писал(а):
А зачем мне нужно было несколько дней убить на проверку работы Plus 600 с базами? Просто было интересно....И ничего более.

Вот и я о том же. Для меня доделать работу с базами гораздо важнее и интереснее, чем выковыривать из программы движок.
letas - Май 08, 2007 - 05:46 PM
Тема сообщения:
plus600 писал(а):
letas писал(а):
А зачем мне нужно было несколько дней убить на проверку работы Plus 600 с базами? Просто было интересно....И ничего более.

Вот и я о том же. Для меня доделать работу с базами гораздо важнее и интереснее, чем выковыривать из программы движок.

Желаю Вам поскорее "разобраться " с базами и заняться "выковыриванием " движка.Это направление не менее интересно.
Kallisto - Май 08, 2007 - 05:48 PM
Тема сообщения:
Мне гораздо более интереснее было бы поиметь движок от Авроры.
plus600 - Май 08, 2007 - 06:04 PM
Тема сообщения:
letas писал(а):

Желаю Вам поскорее "разобраться " с базами и заняться "выковыриванием " движка.Это направление не менее интересно.

Кому и чем?
alemo - Май 08, 2007 - 06:09 PM
Тема сообщения:
Kallisto писал(а):
Я же уже сказал, что они нужны.

Согласен, рейтинги имеют громадное спекулятивное значение. Другого полезного применения им не вижу. Для человека это важно при рангировании и для классификации, но только если система охватывает много сотен или тысяч игроков и десятки-сотни турниров.

Если же игроков (читай - программ) меньше 10, и партий кот наплакал - рейтинг реальной картины не даст, а только исказит. Я предвижу ситуацию, где будут гоняться за каждой сыгранной партией-матчем, чтобы посчитать рейтинг Laughing

Вот есть у нас чемпион России - Plus600. Почему бы не провести следующий ОФИЦИАЛЬНЫЙ чемпионат, утверждённый Российской Федерацией ? Для меня лично - стороннего наблюдателя, только результаты такого соревнования будут иметь значение.

Звания же чемпиона России среди движков, пока в природе нет Laughing

АЛЕМО
plus600 - Май 08, 2007 - 06:14 PM
Тема сообщения:
Kallisto писал(а):
Мне гораздо более интереснее было бы...

Как же вы меня веселите! Cool
Kallisto - Май 08, 2007 - 07:53 PM
Тема сообщения:
alemo писал(а):

Вот есть у нас чемпион России - Plus600. Почему бы не провести следующий ОФИЦИАЛЬНЫЙ чемпионат, утверждённый Российской Федерацией ? Для меня лично - стороннего наблюдателя, только результаты такого соревнования будут иметь значение.

Для меня такого рода соревнования имеют малое значение. Они интересны только партиями, которые потом можно разобрать.
Рейтинг-лист гораздо более серьезное мероприятие.

Кто такой Юниор? Это всего лишь действующий чемпион мира среди шахматных программ. Авторитета у него ноль. Кто такая Рыбка? Это лучшая шахматная программа, которую уважают все разбирающиеся в шахматах люди.
Kallisto - Май 08, 2007 - 08:00 PM
Тема сообщения:
alemo писал(а):
Если же игроков (читай - программ) меньше 10, и партий кот наплакал - рейтинг реальной картины не даст, а только исказит. Я предвижу ситуацию, где будут гоняться за каждой сыгранной партией-матчем, чтобы посчитать рейтинг Laughing

В моем рейтинг-листе каждый движок будет играть по нескольку тысяч партий. Так что рейтинг будет определен очень точно.
NS - Май 08, 2007 - 08:01 PM
Тема сообщения:
Не факт что Джуниор чемпион...
Я считаю что WCCC это не ЧМ, не играют на ЧМ клоны и программы играющий на рейтинг 1000 пунктов Эло. А вот IPCCC - вот это ЧМ, так что Рыбка - чемпион мира Smile
Kvadrat - Май 08, 2007 - 08:01 PM
Тема сообщения:
Kallisto писал(а):
движок от Авроры

А что, есть такая dll-ка?
Kallisto - Май 08, 2007 - 08:07 PM
Тема сообщения:
NS писал(а):
Я считаю что WCCC это не ЧМ, не играют на ЧМ клоны и программы играющий на рейтинг 1000 пунктов Эло.

World Chess Computer Championship - что это еще как не чемпионат мира?
В чемпионатах мира обычно играют кто угодно. Это во всех видах спорта так.

[quote=NS]А что, есть такая dll-ка?[/quote]
В том то и дело, что нет. Но было бы очень интересно, если бы она была.
Движок Плюса, например, меня интересует в гораздо меньшей степени.
Т.к. уже хватает движков посильнее.
plus600 - Май 08, 2007 - 08:11 PM
Тема сообщения:
Kallisto писал(а):
...

Временами вы, вроде, разумные вещи говорите, а потом такую чушь несете...
Kallisto - Май 08, 2007 - 08:26 PM
Тема сообщения:
plus600 писал(а):
а потом такую чушь несете...

бываит... Confused
booot - Май 08, 2007 - 10:27 PM
Тема сообщения:
Рейтинги движков могут принести как пользу, так и вред. Польза следующая: для авторов есть возможность реально увидеть усиление или ослабление движка (по сравнению с предыдущей версией), что крайне полезно для заточки алгоритмов. Это , конечно, ежели автору интересно улучшать силу своей программы. Для пользователей польза заключается в ранжировании движков по силе игры. К примеру чтобы поиграть с компьютером любителю совсем необязательно брать монстра, который сожрет его с потрохами задолго до того момента, когда он вообще начнет что-то понимать. Проще для начала взять что-либо малорейтинговое. А для анализа сложной позиции вполне вероятно квалифицированный игрок предпочтет сильнейший на сегодня движок. Это, конечно, ежели игроку интересно качество анализа, а не красота оболочки .
Ну а вред есть только один - пользователю будет насильно преподноситься ранжирование движка по силе. Вместо , к примеру, ранжированию по рекламе, заслугам движка лет 5-10 назад, официально выполненныйм людским нормативам и так далее.
alemo - Май 08, 2007 - 11:10 PM
Тема сообщения:
Что ж, любая идея имеет право на проверку, в том числе и с рейтингами. Дай Бог, чтобы я оказался неправ в моём скептицизме. Единственное чтобы я Вам посоветовал - не обсчитывать рейтинг каждый матч или турнир, а делать это ну хотя бы раз в 3-6 месяцев. Иначе будут необоснованные скачки рейтингов вверх-вниз.

Ну и само собой - не забудьте про Ваше обещание насчёт "тысячи" Laughing партий

=============================================================================

Кстати, давно хотел спросить, но стеснялся Laughing Вот Cake сыграла недавно c Kingsrow матч из 624 партий за 3 дня в сети. Причём один программист сидел в Америке, а другой - в Швейцарии. Само собой всё было автоматизировано и шло без участия человека. Они сыграли по полной колоде (156 дебютов) дважды.

Я всё думаю - а когда же и в русские шашки наконец-то это будет, вместо ручного ввода программистом ходов - пальчиком по клавиатуре Embarassed

Сможете наладить такие матчи - вот вам и тысячи партий. Idea

АЛЕМО
Kallisto - Май 09, 2007 - 03:32 AM
Тема сообщения:
alemo писал(а):
Что ж, любая идея имеет право на проверку, в том числе и с рейтингами. Дай Бог, чтобы я оказался неправ в моём скептицизме.

Эта идея уже проверена давным давно в шахматах.

alemo писал(а):
Единственное чтобы я Вам посоветовал - не обсчитывать рейтинг каждый матч или турнир, а делать это ну хотя бы раз в 3-6 месяцев. Иначе будут необоснованные скачки рейтингов вверх-вниз. Ну и само собой - не забудьте про Ваше обещание насчёт "тысячи" Laughing партий

Вы совсем не поняли. Будут проводится неофициальные матчи из большого количества партий. Скачки могут свидетельствовать лишь о некачественности рейтинговой системы.



alemo писал(а):
Кстати, давно хотел спросить, но стеснялся Laughing Вот Cake сыграла недавно c Kingsrow матч из 624 партий за 3 дня в сети. Причём один программист сидел в Америке, а другой - в Швейцарии. Само собой всё было автоматизировано и шло без участия человека. Они сыграли по полной колоде (156 дебютов) дважды.

Мне кажется матчи проходили на одном компьютере.

alemo писал(а):
Я всё думаю - а когда же и в русские шашки наконец-то это будет, вместо ручного ввода программистом ходов - пальчиком по клавиатуре Embarassed

У нас ситуация получше, чем в чекерсе. CheckersBoard не позволдяет задать ни одного нормального контроля времени. По сети она играть так же не умеет (в последний раз когда я ее видел было так).
alemo - Май 09, 2007 - 03:36 AM
Тема сообщения:
Kallisto писал(а):
По сети она играть так же не умеет (в последний раз когда я ее видел было так).

Уточните. Если я правильно понял - у Вас эта фича уже есть или на подходе ?
Kallisto - Май 09, 2007 - 03:51 AM
Тема сообщения:
alemo писал(а):
Kallisto писал(а):
По сети она играть так же не умеет (в последний раз когда я ее видел было так).

Уточните. Если я правильно понял - у Вас эта фича уже есть или на подходе ?

Вы сказали, что матч игрался по сети. А я говорю, что нет такой фичи в CheckeresBoard.
Kvadrat - Май 09, 2007 - 04:42 AM
Тема сообщения:
alemo писал(а):
Уточните. Если я правильно понял - у Вас эта фича уже есть или на подходе ?

У Каллисто ко всем ее достоинствам есть еще возможность играть матчи, в т.ч. заранее определенные дебюты. Это позволило за 9 месяцев на 8-10 компах наиграть почти 150000 партий. Надеюсь, это в какой-то мере помогло Игорю. Wink
Игра по сети требует 2 компьютера. Механизм заложенный в Каллисто позволяет прекрасно обойтись одним.
alemo - Май 09, 2007 - 06:16 AM
Тема сообщения:
Kallisto писал(а):
Вы сказали, что матч игрался по сети. А я говорю, что нет такой фичи в CheckeresBoard.

Вроде там было два компа задействованы. Из этого следует, что они играли не через CheckersBoard. Я уточню, хотя это не так уж и важно.

Не исключено также, что они обменялись версиями программ, и каждый на своём компе гнал часть матча. Но факт остаётся фактом - за 3 дня были сыграны 624 партии.

АЛЕМО
NS - Май 09, 2007 - 08:22 AM
Тема сообщения:
Цитата:
Что ж, любая идея имеет право на проверку, в том числе и с рейтингами. Дай Бог, чтобы я оказался неправ в моём скептицизме. Единственное чтобы я Вам посоветовал - не обсчитывать рейтинг каждый матч или турнир, а делать это ну хотя бы раз в 3-6 месяцев. Иначе будут необоснованные скачки рейтингов вверх-вниз.



Обсчет на нормальном мат. аппарате делается не так как вы себе это представляете. Сила движка (конкретной версии) не меняется со временем, поэтому обсчет ведется сразу по всей базе партий, и рейтинг не зависит от порядка в котором партии игрались.

http://www.kasparovchess.crestbook.com/ ... hp?id=1257
Вот я примерно описывал алгоримты.
http://remi.coulom.free.fr/Bayesian-Elo/
Вот описание BayesElo.

А вот крупнейшие шахматные рейтинг-листы (все посчитаны либо при помощи BayesElo, либо при помощи EloStat)

http://www.husvankempen.de/nunn/40_40%2 ... liste.html

http://computerchess.org.uk/ccrl/4040/r ... t_all.html

http://perso.orange.fr/lefouduroi/tourn ... rating.htm

http://wbec-ridderkerk.nl/html/BayesianElo_ed14.htm

http://www.computerschach.de/index.php? ... Itemid=238

http://web.telia.com/~u85924109/ssdf/list.htm

http://web.telia.com/~u85924109/ssdf/rlwww071.txt
Kallisto - Май 12, 2007 - 06:50 PM
Тема сообщения:
Закончились два матча:

Skifi 0.03 - MiuMiu: +157 -224 =541
Skifi 0.03 - KestoG 1.2: +138 -172 =612

Текущие рейтинги:
Код:

Place     Name                      Rating      Perf.   Av.opp    Games

   1. Kallisto 1                     2450     0.685022   2292      227       
   2. KestoG 1.3                     2392     0.600529   2306      756       
   3. KestoG 1.2                     2316     0.519751   2299      1367     
   4. MiuMiu                         2313     0.485615   2325      1877     
   5. Skifi 0.03                     2292     0.449072   2336      2317     

NS - Май 12, 2007 - 08:52 PM
Тема сообщения:
Новый KestoG прибавил больше 50 пунктов? Или эта информация засекречена?
Kallisto - Май 12, 2007 - 09:58 PM
Тема сообщения:
Похоже, что больше 50 Smile
Это еще при том, что пока без подключения ЭБ6. ЭБ6 тоже должна добавить немного пунктов.
Kallisto - Май 14, 2007 - 07:25 PM
Тема сообщения:
MiuMiu - KestoG 1.2: +176 -165 =581
Код:

Place     Name                      Rating      Perf.   Av.opp    Games

   1. Kallisto 1                     2450     0.685022   2293      227       
   2. KestoG v1.3                    2395     0.600529   2310      756       
   3. MiuMiu                         2318     0.495115   2322      2354     
   4. KestoG 1.2                     2311     0.506236   2305      1844     
   5. Skifi 0.03                     2293     0.449072   2336      2317     

Kallisto - Май 19, 2007 - 05:14 AM
Тема сообщения:
А как лучше считать рейтинги, по результатам партий или по результатам микроматчей?
alemo - Май 19, 2007 - 05:52 AM
Тема сообщения:
Только по результатам микроматчей, дебюты не равны !

Есть абсолютно равные дебюты, есть критические, где ничья за счастье, есть равные или критические, где игра есть и выиграть можно за оба цвета, а есть - где игры нет - всё форсированно. Жеребьёвка - это лотерея. Если считаете по партиям - элемент лотереи усиливается.

По партиям можете считать, только если гоняете матч по полной колоде - ВСЕ дебюты.

Но Вы ведь меня всё равно не слушаете Laughing

Александр
Kallisto - Май 19, 2007 - 06:46 AM
Тема сообщения:
Есть подозрение, что если считать по результатам микроматчей, то просто увеличится масштаб.

alemo писал(а):

Но Вы ведь меня всё равно не слушаете Laughing


alemo - Май 19, 2007 - 07:05 AM
Тема сообщения:
Kallisto писал(а):
Есть подозрение, что если считать по результатам микроматчей, то просто увеличится масштаб.

Сейчас сообразил. Для матчей, если Вы обсчитываете рейтинг только между двумя программами и сразу после матча - можно, а может быть и нужно - по партиям. Но вот в турнире, когда есть конкуренты, и кому то попался "хороший" дебют Laughing , а кому то "не очень" Embarassed - только по микроматчам, чтобы нейтрализовать элемент лотереи.

Александр
Kallisto - Май 19, 2007 - 08:20 AM
Тема сообщения:
Рейтинг расчитывается по всей совокупности партий. Их последовательность не имеет никакого значения, т.к. мы считаем, что соперники не меняются во времени (речь о программах).
nikvo - Май 19, 2007 - 09:23 AM
Тема сообщения:
Kallisto писал(а):
Рейтинг расчитывается по всей совокупности партий. Их последовательность не имеет никакого значения, т.к. мы считаем, что соперники не меняются во времени (речь о программах).


В последнем матче Каллисто-Тундра было +5 ,если считать по партиям,то
+6-1.Какая будет разница рейтинга ?
Kallisto - Май 19, 2007 - 09:59 AM
Тема сообщения:
По рейтингу Сонаса (он очень близок к Эло) +83 и +167.
Время в формате GMT - 12
PNphpBB2 © 2003-2007