Заседание орнитологического семинара Зоомузея МГУ, Московского общества испытателей природы и Мензбировского орнитоло... Отправлено www.birder.ru 1 неделя назад
Заседание орнитологического семинара Зоомузея МГУ, Московского общества испытателей природы и Мензбировского орнитоло... Отправлено www.birder.ru 1 месяц назад
Anatol цитата от: ... С удовольствием выслушаю мотивированные аргументы против 3-х последних высказываний
Их не будет. Они и так все удовлетворяются. За исключением, быть может, пункта 2. Тут необходимо и достаточно выполнение двух условий: образование 5 классов средней школы и заинтересованность сделать это. Если чего-то из этих условий не выполняется – тоже не беда. В наше время компьютерами, планшетами, смартфонами пользуются 99% людей, хотя вряд ли даже пятая часть из них понимает, как это работает. И ничего...
:-/Мдя... Михаил, дискуссия ведётся именно по причине не удовлетворённости твоей системой. Если ты не хочешь слышать, понимать, принимать высказанные аргументы, наверно, дело из дискуссии перейдёт в сферу администрирования, т.е. к организаторам, им и решать - будет-ли, в дальнейшем, интересна участникам игра по правилам, изменяющимся во время игры или нет и будет-ли учитываться мнение играющих в эту игру или нет.
Михаил цитата от: ...
Anatol цитата от: ... А ты посмотри на эту ситуацию, когда вид заявлен 1-ой командой из 14 и вид максимально дорогой, ошибка жюри - вид ошибочно причислен к виду который заснят и правильно пределён 2-ой командой (и только ими) - какая будет разница, сколько баллов в результате потеряет и сколько в плюс получат обе команды? A теперь вычти одно из другого, получишь цену ошибки жюри. Ну и сколько у тебя получилось? Обрати внимание, что при этом пострадает и команда сделавшая (по мнению жюри) всё правильно.
Анатолий! Команда (команды) при устранении ошибки не пострадают вообще, так как устранение ошибки - восстановление справедливости. Изменение в счёте у команд, незадействованных в ошибке, составит жалкие 0,192.. балла (при 14 участниках). - Всегда! Хоть дорогой вид, хоть дешевый, хоть две команды, хоть 14. Причем у всех команд, имеющих позицию по "исправленному виду" изменение будет в одну сторону (т.е. никак не отразится на относительной разнице в их счетах). Остальные, возможно бОльшие изменения в счете команды (у которой непосредственно корректируют позицию) к системе баллов вообще не имеет отношения (т.к. будут присутствовать при ЛЮБОЙ системе баллов).
Кхм... Возьми свою программу и посчитай, условия я задал, после этого посчитай тоже самое без учета встречаемости на текущих соревнованиях, цифирки можешь не оглашать. Ответь для себя на вопрос - правильно-ли, что при 1-ой ошибке на одной команде изменяются очки других команд, т.е. ошибка в подсчете очков множится пропорционально количеству команд (вопрос даже не в размере этой ошибки, а в принципе). И пойми - будь ты хоть доктором математических наук и обложись компьютерами с ног до головы свой собственный результат, при существующей системе, ты не сможешь рассчитать до оглашения результата работы жюри. Т.е. правила, по которым ты играешь, заранее не известны!!!!
Восстановление справедливости говоришь, ну-ну, перекрестись, чтобы подобное не случилось с призовыми местами и полным перекраиванием таблицы, а это может произойти при одновременном допущении 3-4 ошибок (больше чем уверен, что на прошедших соревнованиях они есть в этом количестве), даже образования в 5 классов не нужно, чтобы это видеть.
kom цитата от: ...
Но я хочу вернуться к тому, с чего начал. Михаил, на самом деле мне ваша система очень нравится. Есть одно маленькое "но": она не для соревнований.
+100500 Всего-лишь - применить её До, но не После и всё встанет на свои места.
Изменено пт окт. 11 2013, 03:09PM
Anatol цитата от: ... С удовольствием выслушаю мотивированные аргументы против 3-х последних высказываний
Их не будет. Они и так все удовлетворяются. За исключением, быть может, пункта 2. Тут необходимо и достаточно выполнение двух условий: образование 5 классов средней школы и заинтересованность сделать это. Если чего-то из этих условий не выполняется – тоже не беда. В наше время компьютерами, планшетами, смартфонами пользуются 99% людей, хотя вряд ли даже пятая часть из них понимает, как это работает. И ничего...
Anatol цитата от: ... А ты посмотри на эту ситуацию, когда вид заявлен 1-ой командой из 14 и вид максимально дорогой, ошибка жюри - вид ошибочно причислен к виду который заснят и правильно пределён 2-ой командой (и только ими) - какая будет разница, сколько баллов в результате потеряет и сколько в плюс получат обе команды? A теперь вычти одно из другого, получишь цену ошибки жюри. Ну и сколько у тебя получилось? Обрати внимание, что при этом пострадает и команда сделавшая (по мнению жюри) всё правильно.
Анатолий! Команда (команды) при устранении ошибки не пострадают вообще, так как устранение ошибки - восстановление справедливости. Изменение в счёте у команд, незадействованных в ошибке, составит жалкие 0,192.. балла (при 14 участниках). - Всегда! Хоть дорогой вид, хоть дешевый, хоть две команды, хоть 14. Причем у всех команд, имеющих позицию по "исправленному виду" изменение будет в одну сторону (т.е. никак не отразится на относительной разнице в их счетах). Остальные, возможно бОльшие изменения в счете команды (у которой непосредственно корректируют позицию) к системе баллов вообще не имеет отношения (т.к. будут присутствовать при ЛЮБОЙ системе баллов).
PS Здесь все работает совершенно не так, как на Большом Дне, если ты об этом...
Ни о каких "6-ти баллах", о которых говорил Анатолий, и речи быть не может. На "6 баллов" может измениться результат одной команды, на которую ошибка приходится непосредственно, но это-то уже никак не зависит от способа построения системы баллов.
Михаил, ну не прав-же ты, я-же привёл пример, и совершенно четко описал ситуацию когда такая ошибка возможна. Ты-же рассматриваешь ситуацию в "мягком" виде, когда все участники засняли и только на одном участнике возникла ошибка, тогда- да, разница будет очень маленькая. А ты посмотри на эту ситуацию, когда вид заявлен 1-ой командой из 14 и вид максимально дорогой, ошибка жюри - вид ошибочно причислен к виду который заснят и правильно пределён 2-ой командой (и только ими) - какая будет разница, сколько баллов в результате потеряет и сколько в плюс получат обе команды? A теперь вычти одно из другого, получишь цену ошибки жюри. Ну и сколько у тебя получилось? Обрати внимание, что при этом пострадает и команда сделавшая (по мнению жюри) всё правильно.
Изменено чт окт. 10 2013, 06:08PM
Это - ровно то, с чего я начинал. Не работает! Проверь сам, если хочешь.
Не хочу:-) Меня, в принципе, устраивают любые баллы за птицу, при условиях: 1. Балл известен до начала соревнований. 2. Балл остаётся неизменным во время и после подведения итогов текущих соревнований. 3. Каждый участник соревнований должен иметь возможность самостоятельно подсчитать набранные баллы во время и после окончания соревнований.
Почему? 1. Бальность - принадлежность правил соревнований. 2. Правила соревнований должны быть понятны участникам до начала соревнований. 3. Правила не должны меняться в ходе соревнований. С удовольствием выслушаю мотивированные аргументы против 3-х последних высказываний:-)
Случайно обнаруженные жюри виды (не заявленные участниками ни в каком виде) не должны учитываться жюри в результате команды в виде баллов. Попытка определения вида, пускай даже не правильная, должна оцениваться выше, чем вид записанный в "не определённые".
И еще один момент, который, должен быть четко описан в регламенте - количество фото на один вид - не более чем одна фотография с каждой заявленной камеры. Никаких текстовых комментариев, голосов, полётов и серий - вид должен определяться по фотографии - нет определительных признаков - нет баллов, НО, при этом однозначно - все сомнения жюри в пользу участника. Устраивать соревнования еще и в эпистолярном жанре, переписывая тексты из определителей, по моему, не следует.
Мне очень нравится идея анонимности подачи материалов в жюри сплошным потоком, без деления по командам, но реализовать это возможно только через некую прослойку - либо компьютерную сеть, либо, при применении бумажных чек-листов, через какую-то независимую техническую группу.
Можно, конечно, пофантазировать, в направлении приёма видео и аудио материалов, но тогда, по моему, работа жюри будет не предсказуемо продолжительной.
Изменено чт окт. 10 2013, 04:30PM
Anatol цитата от: ... ...основываться только на статистических данных наших соревнований, например - вид встреченный первый раз за всю историю соревнований - 10 (например), а дальше линейное снижение оценки, например, до 2-х, в зависимости от наших статистических данных, без учета времени года, места...
:) Это - ровно то, с чего я начинал. Не работает! Проверь сам, если хочешь.
kom цитата от: ... После небольшой, но бурной дискуссии наша половина команды пришла к следующей системе подсчета...
Примерно с такого начинался бёрдинг в России. Но от этого быстро ушли. Почему? - вопрос риторический...
PS Я, тут было, в "период очередной бессонницы", намарал целый трактат по мотивам дискуссии. Очень много букв. Пока воздержусь от публикации опуса. Коротко, лишь два тезиса: ...использование Красных Книг (факта включения вида) совершенно не подходит для бёрдинга. ...о квадратно-зеленом и тепло-мягком. В регламенте соревнований (и в прошлом и в настоящем) нет никаких противоречий (это о фразе: "сфотографировать и правильно определить наибольшее количество птиц"). Просто нужно различать в контексте декларацию цели и способа ее достижения.
Ну и, конечно же, не стоит забывать, что помимо "врагов хорошего" бывает нечто "хуже воровства"
Михаил, во-первых, прошу прощения за случайно причиненную бессонницу , а во-вторых, интерес на популярном уровне к вопросам нечеткой логики - это, видимо, ровно то, чего нам совершенно не хватало для оценки результатов спортивного соревнования
Если серьезно, то экспертные оценки (баллы, в нашем случае) или использование линейных комбинаций различных параметров зачастую возникают, когда неявно появляется проблема суммирования "квадратного и зеленого". То есть, в нашем случае - это вопрос одновременного учета двух факторов, которые на самом деле абсолютно разные. Это общее число снятых видов и их встречаемость (редкость). К счастью, эта проблема и не проблема вовсе, поскольку давно решена для таких практических применений. Решается она простым ранжированием факторов по степени значимости (их, в общем виде, может быть сколько угодно) и, например, простой последовательной сортировкой по каждому из факторов. Так, как я вчерне показал выше. Должен сказать, что в соревнованиях нашего клуба ("УАЗ Патриот") мы применяем эту систему уже несколько лет, потому что сталкивались ровно с той же проблемой суммирования квадратного и зеленого, и пока не было случая, чтобы она не работала. Что касается "скучности до тоскливости" системы, то чем она скучнее, тем, скорее всего, она будет адекватнее работать (что может быть тоскливее системы учета очков в футболе? ). В конце концов, кто сказал, что система выявления победителей должна выглядеть цирковым представлением или триллером на ночь?
Изменено сб окт. 05 2013, 09:55PM
Мысль правильная. Но тогда придется поступиться принципом: сомнения жюри трактуются в пользу участника.
Иван Рекубратский цитата от: ...
Предварительный просмотр результатов работы Жюри
Тоже хорошо.
Иван Рекубратский цитата от: ...
Предварительный просмотр результатов всех команд
Этого делать не стоит до официального объявления результатов/прекращения работы жюри. Другими словами, до прекращения работы жюри команда видит только свои снимки и может общаться с жюри только по своим вопросам
Иван Рекубратский цитата от: ...
Мне нравится предложение Анатолия штрафовать за несвоевременную сдачу результатов, но , похоже, при внедрении компьютерной системы обработки результатов, оно станет неактуально - Жюри просто будет рассматривать только снимки представленные к часу "Ч".
+1
Иван Рекубратский цитата от: ...
Старый и больной вопрос поднял Михаил: что делать со случайно обнаруженными Жюри видами? На первый взгляд, кажется, что справедливее всего их не засчитывать (Во-первых, участники их не заявили, а значит не видели. Во-вторых обнаружены они случайно, то есть могут быть не учтены незаявленные виды у других команд). С другой стороны, учитывая эти виды, мы повышаем объективность оценки их встречаемости на соревнованиях.
Объективность оценки встречаемости мы никак не сможем повысить. Потому что объективно - команда не встретила этот вид. Не засчитывать.
Иван Рекубратский цитата от: ...
Опять же непонятно: справедливо ли давать очки за виды, которые участники вписали в графу "вид неопределён"? Мне кажется, что главный мотив для помещения вида в эту графу - это нехватка времени или недостаточное качество снимка для определения.
...или недостаток знаний, которые не удалось восполнить из-за нехватки времени, в конечном счете. Давать очки справедливо. Вид встречен, но не определен == определен неправильно.
Иван Рекубратский цитата от: ...
Мне кажется, что необходимо закрепить в регламенте, что, при определении вида, Жюри должно руководствоваться только различимыми на предоставленном снимке определительными признаками и не принимать во внимание аргументы типа "видел в бинокль", "слышал голос", "полёт характерный для ..." и т.п.. По моему, это будет стимулировать участников делать и/или выбирать из серии снимки достаточного для определения качества качества. Жюри должно воспринять в качестве аргумента представление серии снимков одной особи. Но участники должны доказать, что это одна особь.
Тогда придется убрать возможность текстовые комментариев. Доказывать ничего не надо. Серийность должна быть очевидна по фону/ракурсу/времени съемки.
Напомню, с чего все начиналось: с неудовлетворенности многих участников соревнований и членов жюри недостаточной адекватностью системы баллов, построенной на принципе (вольная интерпретация): синантропный вид 2 балла, КК региона - 4-5 балла, КК РФ - 6-7 баллов, прочие остальные виды - 3 балла. Тогда же всерьёз обсуждалась альтернатива плоской шкалы: 2 (или 3) балла за правильное определение и 1 балл за неопределение и довольно быстро была отвергнута как скучная до тоскливости и еще менее адекватная, чем действующая. В результате была разработана "система", состоящая из двух частей:
1. - техническая. В настоящее время - электронная таблица MS Excel, которая может легко конфигурироваться под любую идеологию (которую уже использовали, когда-либо или только обсуждали). Реализация несовершенна (ввиду ограничений платформы), но у нас есть четкое понимание, как развиваться дальше.
2. - идеологическая. Представляет собой синтез идей (порой противоречивых и даже спорных) большого коллектива людей. Я позволю себе перечислить имена некоторых отцов-основателей (Возможно, кое-кто даже не в курсе отцовства): Иван Рекубратский, Алексей Благовидов, Анатолий Лесковский, Вадим Авданин, Алексей Алексеев, Виктор Подсохин... Я лишь собрал все это вместе, конечно же, слегка добавив отсебятины.
Техническую часть обсуждать публично смысла мало (мы это можем сделать в узком составе), а вот идеологию можно рихтовать сколько угодно. Главное - не ходить кругами и вовремя остановиться.
kom цитата от: ...
Но. Есть несколько принципиальных моментов. Первое. ... Второе. ... Третье. ...
"Сложность для понимания и восприятия". ... - не аргумент, на самом деле. Вся арифметика - на уровне начальной школы, так что "непонимание" - следствие отсутствия достаточной мотивации и только (там даже квадратных уравнений нет - все линейно: пропорции, соответствия, простейшая арифметика). Тот, кто хоть раз в жизни интересовался (даже на популярном уровне) вопросами нечеткой логики/построением экспертных систем/нейронными сетями/искусственным интеллектом и т. д. сходу заметит знакомые примитивы.
"Весовые коэффициенты и бесконечные споры". Спорить по значениям особого смысла нет, так как они не имеют принципиального значения (как это не парадоксально звучит), так как при любых положительных значениях любых коэффициентов (подчеркиваю, при любых! - 2 раза) белая трясогузка, например, будет иметь меньший балл, чем балобан. При одинаковой текущей встречаемости, естественно. Вот что принципиально! В настоящий момент коэффициенты подобраны так, чтобы изменения выглядели "гладко" и примерно соответствовали предыдущим "традиционным" таблицам баллов. Их возможно (и нужно) немного причесать - не более того. "Гладкость" можно оценить по схемке, которую я приводил весной
"Зависимость результата от других участников". Этот момент неприятен только с практической точки зрения. Любая ошибка (точнее, исправление ошибки: добавление/удаление вида в зачет одной команде или изменение статуса определен/не определен) приводит к изменению баллов у всех соперников (у которых этот вид есть, естественно). Положительный момент (с практической точки зрения), что это изменение мизерное (уже писал, что при 15 командах разница составит менее 0,2 балла). А теперь - самое интересное: никакой зависимости на самом деле нет! Зависимость только кажущаяся (так как баллы, действительно меняются). Тут банальная логическая ловушка. Надеюсь, все помнят современное представление о мире, о системах отсчета, об основах измерения величин? Можно даже теорию относительности вспомнить и тот факт, что измерения параметров в разных системах отчета могут отличаться. Суть любого измерения - процесс сравнения с эталоном. Изменение баллов - не что иное, как изменение эталона измерения. Выявление ошибки – изменение представлений о системе. У нас нет другого эталона встречаемости на текущих соревнованиях, кроме как результат этих же соревнований! И это самый лучший эталон, потому что других у нас нет и быть не может. Так что, нет никакой зависимости. Еще раз обращаю внимание на то, что изменение мало, и чем больше команд, тем меньше изменение (больше точность). Ни о каких "6-ти баллах", о которых говорил Анатолий, и речи быть не может. На "6 баллов" может измениться результат одной команды, на которую ошибка приходится непосредственно, но это-то уже никак не зависит от способа построения системы баллов.
Изменено сб окт. 05 2013, 03:55AM
После небольшой, но бурной дискуссии наша половина команды пришла к следующей системе подсчета. Она, на мой взгляд, свободна от вышеперечисленных недостатков.
1. Более высокое место получает команда, сфотографировавшая и правильно определившая бОльшее количество видов. Принцип подсчета элементарен: общее количество, или "один вид-один балл". 2. Если две или более команд набрали одинаковое количество баллов, то вступает в силу принцип встречаемости. Критерий также элементарен: "краснокнижность вида". Иными словами, более высокое место в этом случае получает команда, сфотографировавшая и правильно определившая большее число видов, включенных в ККРФ. 3. Если же и в этом случае результат двух или более команд одинаков, то более высокое место получает команда, сфотографировавшая и правильно определившая большее число видов, включенных в КК соответствующего региона (и не учтенных в п.2).
Уже на этом можно было бы остановиться; думаю, что вероятность получения двух одинаковых результатов будет близка к нулевой. При этом неправильно определенные или неопределенные виды не учитываются вовсе.
Что хорошего в этой системе? 1. Она проста и прозрачна до элементарности. 2. Она не использует никаких искусственных критериев и весовых коэффициентов или "экспертных" баллов, кроме самого простого и естественного критерия: факта включения вида в соответствующую КК. 3. Результат каждой команды абсолютно независим как от результатов других участников, так и от результатов прошлых соревнований.
Есть еще один момент, на котором хотелось бы остановиться чуть подробнее. Использование такой системы подсчета позволит снизить (хотя и не убрать совершенно) фактор "профессионала" (имеется в виду мощная, дорогая аппаратура или наличие людей со специальной профессиональной подготовкой в команде). Поясню. Все мы знаем, что первые 15-20 видов снимают практически все и с самого начала. Это, как правило, наиболее часто встречающиеся виды. Однако, основная борьба между участниками начинается за виды редкие . Часто это именно физически редко встречающиеся виды. Но, помимо них, существуют еще виды "плохо фотографируемые" и "плохо определяемые". Вот тут и начинает проявляться вышеупомянутый "фактор профессионала". В целом это было бы не страшно, но этот фактор усугубляется еще и тем, что последние две категории видов имеют обычно высокую "балльность" (как в системе Михаила, так и в предыдущей системе с "экспертными" оценками). Система же "одна птица - один балл" позволит влияние этого фактора снизить, хотя и не до нуля. Останется борьба в основном за физически редко встречающиеся виды, а эти трудности, как я уже раньше писал - одинаковы для всех.
Изменено пт окт. 04 2013, 10:08PM
