Добро пожаловать
Логин или Email:

Пароль:




[ ]
[ ]
Forums
НП «Птицы и Люди» :: Forums :: Клуб спортивных орнитологов :: Бёрдинг-ралли
 
« Предыдущая | Следующая »
На майском бёрдинг-ралли будет опробована новая система оценки видов
Модераторы: www.birder.ru
Автор Текст
None
04.10.2013, 15:21
None
Level 5 Пользователь #534 Регистрация: 02.02.2011, 11:26

Постов: 351
kom цитата от: ...

Напомню регламент. Основной целью участников считается "сфотографировать и определить наибольшее число видов птиц встреченных на маршруте." Точка.
С оценкой этой цели вполне справляется простейший критерий: общее число сфотографированных и правильно определенных видов. Все остальное - это то самое "враг хорошего", от которого безболезненно можно отказаться.
При определении балла за каждый вид, безусловно, надо учитывать встречаемость данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальной экспертной оценки и последующей её коррекции по результатам соревнований. С другой стороны, я ничего страшного не вижу в том, чтобы вообще отказаться от первоначальной экспертной оценки, а также не учитывать краснокнижность, редкось и т.п., а основываться только на статистических данных наших соревнований, например - вид встреченный первый раз за всю историю соревнований - 10 (например), а дальше линейное снижение оценки, например, до 2-х, в зависимости от наших статистических данных, без учета времени года, места и т.п. При этом чек-лист должен содержать только те виды, которые уже встречались на соревнованиях. Да, такая система не наукообразна, но зато спортивна, понятна и прозрачна.
Вверх
Иван Рекубратский
04.10.2013, 17:32
Иван Рекубратский
Level 10 Пользователь #44 Регистрация: 30.11.2006, 19:21

Постов: 731
Очевидно, что совершенствование технического обеспечения соревнований (речь идёт о разработке компьютерной программы, которая работает на сервере и позволяет через локальную сеть собрать результаты участников, продемонстрировать их Жюри и подвести итоги - о ней же писали весной Михаил и Анатолий), также потребует существенной переработки регламента. Многие аспекты пока трудно предусмотреть, но мне интересно ваше отношение к некоторым возможностям, которые было бы не очень трудно реализовать при внедрении подобного инструмента:
  • Работа Жюри вслепую. Жюри предъявляются только снимки птиц, при необходимости описывается (каким-то образом указывается) область снимка, где находится птица) без указания названия команды и её версии о том, что это за вид. Жюри определяет вид птицы на снимке или признаёт снимок непригодным для определения. Затем компьютерная программа сравнивает мнения Жюри и команды и подсчитывает очки.
  • Предварительный просмотр результатов работы Жюри. Сразу после окончания работы Жюри через локальную сеть становятся доступны для просмотра странички со снимками птиц и результатами их определения Жюри и участниками. Какое-то время до подведения итогов (например, утро воскресенья) можно было бы использовать для открытой дискуссии по спорным вопросам определения птиц между Жюри и участниками.
  • Предварительный просмотр результатов всех команд. Странички со снимками птиц и результатами их определения участниками становятся доступны для просмотра через локальную сеть сразу после их загрузки или после окончания приёма результатов соревнований от всех участников.
Меня особенно интересует ваше отношение к возможности просмотра результатов соперников, до окончания приёма результатов, когда и у вас, и у них ещё есть возможность внести исправления. Очевидно, что последняя возможность противоречит первой, так как при её реализации снимки утратят анонимность. С другой стороны, полная анонимность труднодостижима: снимки можно идентифицировать по марке фотоаппарата. Ещё несколько соображений для обсуждения:
  • Мне нравится предложение Анатолия штрафовать за несвоевременную сдачу результатов, но , похоже, при внедрении компьютерной системы обработки результатов, оно станет неактуально - Жюри просто будет рассматривать только снимки представленные к часу "Ч".
  • Старый и больной вопрос поднял Михаил: что делать со случайно обнаруженными Жюри видами? На первый взгляд, кажется, что справедливее всего их не засчитывать (Во-первых, участники их не заявили, а значит не видели. Во-вторых обнаружены они случайно, то есть могут быть не учтены незаявленные виды у других команд). С другой стороны, учитывая эти виды, мы повышаем объективность оценки их встречаемости на соревнованиях. Опять же непонятно: справедливо ли давать очки за виды, которые участники вписали в графу "вид неопределён"? Мне кажется, что главный мотив для помещения вида в эту графу - это нехватка времени или недостаточное качество снимка для определения.
  • Мне кажется, что необходимо закрепить в регламенте, что, при определении вида, Жюри должно руководствоваться только различимыми на предоставленном снимке определительными признаками и не принимать во внимание аргументы типа "видел в бинокль", "слышал голос", "полёт характерный для ..." и т.п.. По моему, это будет стимулировать участников делать и/или выбирать из серии снимки достаточного для определения качества качества. Жюри должно воспринять в качестве аргумента представление серии снимков одной особи. Но участники должны доказать, что это одна особь. Правки 04.10.2013, 17:40
Вверх
kom
04.10.2013, 18:20
kom
Level 1 Пользователь #524 Регистрация: 11.01.2011, 09:37

Постов: 39
Anatol цитата от: ...
При определении балла за каждый вид, безусловно, надо учитывать встречаемость данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальной экспертной оценки и последующей её коррекции по результатам соревнований.

На самом деле, новая система, как мне кажется, имеет очень большой перекос именно в сторону переоценки встречаемости (точнее, "невстречаемости"). Достаточно посмотреть количество параметров, которые эту встречаемость так или иначе учитывают. Особенно если еще вспомнить, что "краснокнижность" вида по определению сильно коррелирует с физической встречаемостью вида.
Между тем, для каждых данных конкретных соревнований, проводимых в достаточно ограниченном географически районе, "встречаемость" каждого вида априори одинакова для любой команды.
Если белые цапли встречаются с частотой белых трясогузок, то это значит, что все (ну, или почти все) команды их снимут и правильно определят. А если аисты уже улетели, то и с этим ничего не поделаешь - опять же, для всех команд.
Правки 04.10.2013, 18:28
Вверх
kom
04.10.2013, 22:07
kom
Level 1 Пользователь #524 Регистрация: 11.01.2011, 09:37

Постов: 39
После небольшой, но бурной дискуссии наша половина команды пришла к следующей системе подсчета. Она, на мой взгляд, свободна от вышеперечисленных недостатков.

1. Более высокое место получает команда, сфотографировавшая и правильно определившая бОльшее количество видов. Принцип подсчета элементарен: общее количество, или "один вид-один балл".
2. Если две или более команд набрали одинаковое количество баллов, то вступает в силу принцип встречаемости. Критерий также элементарен: "краснокнижность вида". Иными словами, более высокое место в этом случае получает команда, сфотографировавшая и правильно определившая большее число видов, включенных в ККРФ.
3. Если же и в этом случае результат двух или более команд одинаков, то более высокое место получает команда, сфотографировавшая и правильно определившая большее число видов, включенных в КК соответствующего региона (и не учтенных в п.2).

Уже на этом можно было бы остановиться; думаю, что вероятность получения двух одинаковых результатов будет близка к нулевой. При этом неправильно определенные или неопределенные виды не учитываются вовсе.

Что хорошего в этой системе?
1. Она проста и прозрачна до элементарности.
2. Она не использует никаких искусственных критериев и весовых коэффициентов или "экспертных" баллов, кроме самого простого и естественного критерия: факта включения вида в соответствующую КК.
3. Результат каждой команды абсолютно независим как от результатов других участников, так и от результатов прошлых соревнований.

Есть еще один момент, на котором хотелось бы остановиться чуть подробнее. Использование такой системы подсчета позволит снизить (хотя и не убрать совершенно) фактор "профессионала" (имеется в виду мощная, дорогая аппаратура или наличие людей со специальной профессиональной подготовкой в команде).
Поясню.
Все мы знаем, что первые 15-20 видов снимают практически все и с самого начала. Это, как правило, наиболее часто встречающиеся виды. Однако, основная борьба между участниками начинается за виды редкие . Часто это именно физически редко встречающиеся виды. Но, помимо них, существуют еще виды "плохо фотографируемые" и "плохо определяемые". Вот тут и начинает проявляться вышеупомянутый "фактор профессионала". В целом это было бы не страшно, но этот фактор усугубляется еще и тем, что последние две категории видов имеют обычно высокую "балльность" (как в системе Михаила, так и в предыдущей системе с "экспертными" оценками). Система же "одна птица - один балл" позволит влияние этого фактора снизить, хотя и не до нуля. Останется борьба в основном за физически редко встречающиеся виды, а эти трудности, как я уже раньше писал - одинаковы для всех. Правки 04.10.2013, 22:08
Вверх
Михаил
05.10.2013, 03:07
Михаил
Level 2 Пользователь #764 Регистрация: 26.03.2012, 20:31

Постов: 157
Напомню, с чего все начиналось: с неудовлетворенности многих участников соревнований и членов жюри недостаточной адекватностью системы баллов, построенной на принципе (вольная интерпретация): синантропный вид 2 балла, КК региона - 4-5 балла, КК РФ - 6-7 баллов, прочие остальные виды - 3 балла. Тогда же всерьёз обсуждалась альтернатива плоской шкалы: 2 (или 3) балла за правильное определение и 1 балл за неопределение и довольно быстро была отвергнута как скучная до тоскливости и еще менее адекватная, чем действующая.
В результате была разработана "система", состоящая из двух частей:

1. - техническая. В настоящее время - электронная таблица MS Excel, которая может легко конфигурироваться под любую идеологию (которую уже использовали, когда-либо или только обсуждали). Реализация несовершенна (ввиду ограничений платформы), но у нас есть четкое понимание, как развиваться дальше.

2. - идеологическая. Представляет собой синтез идей (порой противоречивых и даже спорных) большого коллектива людей.
Я позволю себе перечислить имена некоторых отцов-основателей (Возможно, кое-кто даже не в курсе отцовства): Иван Рекубратский, Алексей Благовидов, Анатолий Лесковский, Вадим Авданин, Алексей Алексеев, Виктор Подсохин...
Я лишь собрал все это вместе, конечно же, слегка добавив отсебятины.

Техническую часть обсуждать публично смысла мало (мы это можем сделать в узком составе), а вот идеологию можно рихтовать сколько угодно. Главное - не ходить кругами и вовремя остановиться.

kom цитата от: ...

Но.
Есть несколько принципиальных моментов.
Первое.
...
Второе.
...
Третье.
...

"Сложность для понимания и восприятия".
... - не аргумент, на самом деле. Вся арифметика - на уровне начальной школы, так что "непонимание" - следствие отсутствия достаточной мотивации и только (там даже
квадратных уравнений нет :) - все линейно: пропорции, соответствия, простейшая арифметика). Тот, кто хоть раз в жизни интересовался (даже на популярном уровне)
вопросами нечеткой логики/построением экспертных систем/нейронными сетями/искусственным интеллектом и т. д. сходу заметит знакомые примитивы.

"Весовые коэффициенты и бесконечные споры".
Спорить по значениям особого смысла нет, так как они не имеют принципиального значения (как это не парадоксально звучит), так как при любых положительных значениях любых коэффициентов (подчеркиваю, при любых! - 2 раза) белая трясогузка, например, будет иметь меньший балл, чем балобан. При одинаковой текущей встречаемости, естественно. Вот что принципиально!
В настоящий момент коэффициенты подобраны так, чтобы изменения выглядели "гладко" и примерно соответствовали предыдущим "традиционным" таблицам баллов.
Их возможно (и нужно) немного причесать - не более того. "Гладкость" можно оценить по схемке, которую я приводил весной

"Зависимость результата от других участников".
Этот момент неприятен только с практической точки зрения. Любая ошибка (точнее, исправление ошибки: добавление/удаление вида в зачет одной команде или изменение статуса определен/не определен) приводит к изменению баллов у всех соперников (у которых этот вид есть, естественно). Положительный момент (с практической точки зрения), что это изменение мизерное (уже писал, что при 15 командах разница составит менее 0,2 балла). А теперь - самое интересное: никакой зависимости на самом деле нет! Зависимость только кажущаяся (так как баллы, действительно меняются).
Тут банальная логическая ловушка.
Надеюсь, все помнят современное представление о мире, о системах отсчета, об основах измерения величин? Можно даже теорию относительности вспомнить и тот факт, что измерения параметров в разных системах отчета могут отличаться. Суть любого измерения - процесс сравнения с эталоном.
Изменение баллов - не что иное, как изменение эталона измерения. Выявление ошибки – изменение представлений о системе. У нас нет другого эталона встречаемости на текущих соревнованиях, кроме как результат этих же соревнований! И это самый лучший эталон, потому что других у нас нет и быть не может. Так что, нет никакой зависимости. ;)
Еще раз обращаю внимание на то, что изменение мало, и чем больше команд, тем меньше изменение (больше точность). Ни о каких "6-ти баллах", о которых говорил Анатолий, и речи быть не может. На "6 баллов" может измениться результат одной команды, на которую ошибка приходится непосредственно, но это-то уже никак не зависит от способа построения системы баллов.
Правки 05.10.2013, 03:55
Вверх
Михаил
05.10.2013, 03:50
Михаил
Level 2 Пользователь #764 Регистрация: 26.03.2012, 20:31

Постов: 157
Иван Рекубратский цитата от: ...

Работа Жюри вслепую
Мысль правильная. Но тогда придется поступиться принципом: сомнения жюри трактуются в пользу участника.
Иван Рекубратский цитата от: ...

Предварительный просмотр результатов работы Жюри
Тоже хорошо.
Иван Рекубратский цитата от: ...

Предварительный просмотр результатов всех команд
Этого делать не стоит до официального объявления результатов/прекращения работы жюри.
Другими словами, до прекращения работы жюри команда видит только свои снимки и может общаться с жюри только по своим вопросам
Иван Рекубратский цитата от: ...

Мне нравится предложение Анатолия штрафовать за несвоевременную сдачу результатов, но , похоже, при внедрении компьютерной системы обработки результатов, оно станет неактуально - Жюри просто будет рассматривать только снимки представленные к часу "Ч".
+1
Иван Рекубратский цитата от: ...

Старый и больной вопрос поднял Михаил: что делать со случайно обнаруженными Жюри видами?
На первый взгляд, кажется, что справедливее всего их не засчитывать (Во-первых, участники их не заявили, а значит не видели. Во-вторых обнаружены они случайно, то есть могут быть не учтены незаявленные виды у других команд).
С другой стороны, учитывая эти виды, мы повышаем объективность оценки их встречаемости на соревнованиях.
Объективность оценки встречаемости мы никак не сможем повысить. Потому что объективно - команда не встретила этот вид. Не засчитывать.
Иван Рекубратский цитата от: ...

Опять же непонятно: справедливо ли давать очки за виды, которые участники вписали в графу "вид неопределён"? Мне кажется, что главный мотив для помещения вида в эту графу - это нехватка времени или недостаточное качество снимка для определения.
...или недостаток знаний, которые не удалось восполнить из-за нехватки времени, в конечном счете.
Давать очки справедливо. Вид встречен, но не определен == определен неправильно.
Иван Рекубратский цитата от: ...

Мне кажется, что необходимо закрепить в регламенте, что, при определении вида, Жюри должно руководствоваться только различимыми на предоставленном снимке определительными признаками и не принимать во внимание аргументы типа "видел в бинокль", "слышал голос", "полёт характерный для ..." и т.п.. По моему, это будет стимулировать участников делать и/или выбирать из серии снимки достаточного для определения качества качества.
Жюри должно воспринять в качестве аргумента представление серии снимков одной особи. Но участники должны доказать, что это одна особь.
Тогда придется убрать возможность текстовые комментариев. Доказывать ничего не надо. Серийность должна быть очевидна по фону/ракурсу/времени съемки.
Вверх
kom
05.10.2013, 21:54
kom
Level 1 Пользователь #524 Регистрация: 11.01.2011, 09:37

Постов: 39
Михаил, во-первых, прошу прощения за случайно причиненную бессонницу :), а во-вторых, интерес на популярном уровне к вопросам нечеткой логики - это, видимо, ровно то, чего нам совершенно не хватало для оценки результатов спортивного соревнования :)

Если серьезно, то экспертные оценки (баллы, в нашем случае) или использование линейных комбинаций различных параметров зачастую возникают, когда неявно появляется проблема суммирования "квадратного и зеленого". То есть, в нашем случае - это вопрос одновременного учета двух факторов, которые на самом деле абсолютно разные. Это общее число снятых видов и их встречаемость (редкость).
К счастью, эта проблема и не проблема вовсе, поскольку давно решена для таких практических применений. Решается она простым ранжированием факторов по степени значимости (их, в общем виде, может быть сколько угодно) и, например, простой последовательной сортировкой по каждому из факторов. Так, как я вчерне показал выше.
Должен сказать, что в соревнованиях нашего клуба ("УАЗ Патриот") мы применяем эту систему уже несколько лет, потому что сталкивались ровно с той же проблемой суммирования квадратного и зеленого, и пока не было случая, чтобы она не работала.
Что касается "скучности до тоскливости" системы, то чем она скучнее, тем, скорее всего, она будет адекватнее работать (что может быть тоскливее системы учета очков в футболе? :)). В конце концов, кто сказал, что система выявления победителей должна выглядеть цирковым представлением или триллером на ночь?
:) Правки 05.10.2013, 21:55
Вверх
Михаил
10.10.2013, 01:53
Михаил
Level 2 Пользователь #764 Регистрация: 26.03.2012, 20:31

Постов: 157
Anatol цитата от: ...
...основываться только на статистических данных наших соревнований, например - вид встреченный первый раз за всю историю соревнований - 10 (например), а дальше линейное снижение оценки, например, до 2-х, в зависимости от наших статистических данных, без учета времени года, места...
:) Это - ровно то, с чего я начинал. Не работает! Проверь сам, если хочешь.

kom цитата от: ...
После небольшой, но бурной дискуссии наша половина команды пришла к следующей системе подсчета...
Примерно с такого начинался бёрдинг в России. Но от этого быстро ушли. Почему? - вопрос риторический...

PS Я, тут было, в "период очередной бессонницы", намарал целый трактат по мотивам дискуссии. Очень много букв. Пока воздержусь от публикации опуса.
Коротко, лишь два тезиса:
...использование Красных Книг (факта включения вида) совершенно не подходит для бёрдинга.
...о квадратно-зеленом и тепло-мягком. В регламенте соревнований (и в прошлом и в настоящем) нет никаких противоречий (это о фразе: "сфотографировать и правильно определить наибольшее количество птиц"). Просто нужно различать в контексте декларацию цели и способа ее достижения.

Ну и, конечно же, не стоит забывать, что помимо "врагов хорошего" бывает нечто "хуже воровства" ;)
Вверх
None
10.10.2013, 12:10
None
Level 5 Пользователь #534 Регистрация: 02.02.2011, 11:26

Постов: 351
цитата от: ...

Это - ровно то, с чего я начинал. Не работает! Проверь сам, если хочешь.
Не хочу:-) Меня, в принципе, устраивают любые баллы за птицу, при условиях:
1. Балл известен до начала соревнований.
2. Балл остаётся неизменным во время и после подведения итогов текущих соревнований.
3. Каждый участник соревнований должен иметь возможность самостоятельно подсчитать набранные баллы во время и после окончания соревнований.

Почему?
1. Бальность - принадлежность правил соревнований.
2. Правила соревнований должны быть понятны участникам до начала соревнований.
3. Правила не должны меняться в ходе соревнований.
С удовольствием выслушаю мотивированные аргументы против 3-х последних высказываний:-)

Случайно обнаруженные жюри виды (не заявленные участниками ни в каком виде) не должны учитываться жюри в результате команды в виде баллов.
Попытка определения вида, пускай даже не правильная, должна оцениваться выше, чем вид записанный в "не определённые".

И еще один момент, который, должен быть четко описан в регламенте - количество фото на один вид - не более чем одна фотография с каждой заявленной камеры.
Никаких текстовых комментариев, голосов, полётов и серий - вид должен определяться по фотографии - нет определительных признаков - нет баллов, НО, при этом однозначно - все сомнения жюри в пользу участника. Устраивать соревнования еще и в эпистолярном жанре, переписывая тексты из определителей, по моему, не следует.

Мне очень нравится идея анонимности подачи материалов в жюри сплошным потоком, без деления по командам, но реализовать это возможно только через некую прослойку - либо компьютерную сеть, либо, при применении бумажных чек-листов, через какую-то независимую техническую группу.

Можно, конечно, пофантазировать, в направлении приёма видео и аудио материалов, но тогда, по моему, работа жюри будет не предсказуемо продолжительной. Правки 10.10.2013, 16:30
Вверх
None
10.10.2013, 13:30
None
Level 5 Пользователь #534 Регистрация: 02.02.2011, 11:26

Постов: 351
Михаил цитата от: ...

Ни о каких "6-ти баллах", о которых говорил Анатолий, и речи быть не может. На "6 баллов" может измениться результат одной команды, на которую ошибка приходится непосредственно, но это-то уже никак не зависит от способа построения системы баллов.
Михаил, ну не прав-же ты, я-же привёл пример, и совершенно четко описал ситуацию когда такая ошибка возможна. Ты-же рассматриваешь ситуацию в "мягком" виде, когда все участники засняли и только на одном участнике возникла ошибка, тогда- да, разница будет очень маленькая. А ты посмотри на эту ситуацию, когда вид заявлен 1-ой командой из 14 и вид максимально дорогой, ошибка жюри - вид ошибочно причислен к виду который заснят и правильно пределён 2-ой командой (и только ими) - какая будет разница, сколько баллов в результате потеряет и сколько в плюс получат обе команды? A теперь вычти одно из другого, получишь цену ошибки жюри. Ну и сколько у тебя получилось? Обрати внимание, что при этом пострадает и команда сделавшая (по мнению жюри) всё правильно.
Правки 10.10.2013, 18:08
Вверх

Перейти к теме :

Powered by e107 Forum System
©2006-2022 Некоммерческое партнерство содействия развитию орнитологии «Птицы и Люди»