Заседание орнитологического семинара Зоомузея МГУ, Московского общества испытателей природы и Мензбировского орнитоло... Отправлено www.birder.ru 3 недели назад
Anatol цитата от: ... При определении балла за каждый вид, безусловно, надо учитывать встречаемость данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальной экспертной оценки и последующей её коррекции по результатам соревнований.
На самом деле, новая система, как мне кажется, имеет очень большой перекос именно в сторону переоценки встречаемости (точнее, "невстречаемости"). Достаточно посмотреть количество параметров, которые эту встречаемость так или иначе учитывают. Особенно если еще вспомнить, что "краснокнижность" вида по определению сильно коррелирует с физической встречаемостью вида. Между тем, для каждых данных конкретных соревнований, проводимых в достаточно ограниченном географически районе, "встречаемость" каждого вида априори одинакова для любой команды. Если белые цапли встречаются с частотой белых трясогузок, то это значит, что все (ну, или почти все) команды их снимут и правильно определят. А если аисты уже улетели, то и с этим ничего не поделаешь - опять же, для всех команд.
Изменено пт окт. 04 2013, 06:28PM
Очевидно, что совершенствование технического обеспечения соревнований (речь идёт о разработке компьютерной программы, которая работает на сервере и позволяет через локальную сеть собрать результаты участников, продемонстрировать их Жюри и подвести итоги - о ней же писали весной Михаил и Анатолий), также потребует существенной переработки регламента.
Многие аспекты пока трудно предусмотреть, но мне интересно ваше отношение к некоторым возможностям, которые было бы не очень трудно реализовать при внедрении подобного инструмента:
Работа Жюри вслепую. Жюри предъявляются только снимки птиц, при необходимости описывается (каким-то образом указывается) область снимка, где находится птица) без указания названия команды и её версии о том, что это за вид. Жюри определяет вид птицы на снимке или признаёт снимок непригодным для определения. Затем компьютерная программа сравнивает мнения Жюри и команды и подсчитывает очки.
Предварительный просмотр результатов работы Жюри. Сразу после окончания работы Жюри через локальную сеть становятся доступны для просмотра странички со снимками птиц и результатами их определения Жюри и участниками. Какое-то время до подведения итогов (например, утро воскресенья) можно было бы использовать для открытой дискуссии по спорным вопросам определения птиц между Жюри и участниками.
Предварительный просмотр результатов всех команд. Странички со снимками птиц и результатами их определения участниками становятся доступны для просмотра через локальную сеть сразу после их загрузки или после окончания приёма результатов соревнований от всех участников.
Меня особенно интересует ваше отношение к возможности просмотра результатов соперников, до окончания приёма результатов, когда и у вас, и у них ещё есть возможность внести исправления.
Очевидно, что последняя возможность противоречит первой, так как при её реализации снимки утратят анонимность. С другой стороны, полная анонимность труднодостижима: снимки можно идентифицировать по марке фотоаппарата.
Ещё несколько соображений для обсуждения:
Мне нравится предложение Анатолия штрафовать за несвоевременную сдачу результатов, но , похоже, при внедрении компьютерной системы обработки результатов, оно станет неактуально - Жюри просто будет рассматривать только снимки представленные к часу "Ч".
Старый и больной вопрос поднял Михаил: что делать со случайно обнаруженными Жюри видами?
На первый взгляд, кажется, что справедливее всего их не засчитывать (Во-первых, участники их не заявили, а значит не видели. Во-вторых обнаружены они случайно, то есть могут быть не учтены незаявленные виды у других команд).
С другой стороны, учитывая эти виды, мы повышаем объективность оценки их встречаемости на соревнованиях.
Опять же непонятно: справедливо ли давать очки за виды, которые участники вписали в графу "вид неопределён"? Мне кажется, что главный мотив для помещения вида в эту графу - это нехватка времени или недостаточное качество снимка для определения.
Мне кажется, что необходимо закрепить в регламенте, что, при определении вида, Жюри должно руководствоваться только различимыми на предоставленном снимке определительными признаками и не принимать во внимание аргументы типа "видел в бинокль", "слышал голос", "полёт характерный для ..." и т.п.. По моему, это будет стимулировать участников делать и/или выбирать из серии снимки достаточного для определения качества качества.
Жюри должно воспринять в качестве аргумента представление серии снимков одной особи. Но участники должны доказать, что это одна особь.
Изменено пт окт. 04 2013, 05:40PM
Напомню регламент. Основной целью участников считается "сфотографировать и определить наибольшее число видов птиц встреченных на маршруте." Точка. С оценкой этой цели вполне справляется простейший критерий: общее число сфотографированных и правильно определенных видов. Все остальное - это то самое "враг хорошего", от которого безболезненно можно отказаться.
При определении балла за каждый вид, безусловно, надо учитывать встречаемость данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальной экспертной оценки и последующей её коррекции по результатам соревнований. С другой стороны, я ничего страшного не вижу в том, чтобы вообще отказаться от первоначальной экспертной оценки, а также не учитывать краснокнижность, редкось и т.п., а основываться только на статистических данных наших соревнований, например - вид встреченный первый раз за всю историю соревнований - 10 (например), а дальше линейное снижение оценки, например, до 2-х, в зависимости от наших статистических данных, без учета времени года, места и т.п. При этом чек-лист должен содержать только те виды, которые уже встречались на соревнованиях. Да, такая система не наукообразна, но зато спортивна, понятна и прозрачна.
Первое. Система трудна для восприятия и понимания многими участниками. А это значит, что имеется повышенный шанс для возникновения (возможно, беспочвенных) подозрений в ее необъективности или ошибочности.
Второе. Система использует комбинацию критериальных функций и их весовых коэффициентов, подобранных с достаточной степенью произвольности. По факту, это ничем не отличается от предыдущей системы, когда для каждой птицы "назначался" произвольный, хотя и "экспертный" балл. Говоря иными словами, спор о том, почему за эту птицу дают два балла, а за ту - три, просто переходит в другую плоскость: почему этот критерий имеет вес 0,5 а не 0,7, а вон тот - имеет вес 1, а не 0,9. Поскольку критериев много, такие споры можно вести вполне бесконечно.
Третье. И, пожалуй, самое главное. Результат (то есть, баллы, заработанные командой) в спортивном соревновании (коим, все-таки, считается бердинг-ралли) не может зависеть от результатов других участников. Анатолий не раз озвучивал эту мысль и, на мой взгляд, абсолютно прав. Представим себе футбольный матч: хорош он был бы, если бы число голов, забитых одной командой зависело бы от числа голов, забитых другой. А учитывая высказанное выше второе соображение, можно представить себе матч, в котором команда, проигрывая со счетом 0:1 и сравнивая счет, внезапно видит на табло результат 0,9:1. Ничего страшного, говорят арбитры, просто пока вы играли, изменился коэффициент.
Есть еще ряд моментов, связанных в основном, с недостаточной репрезентативностью выборок, используемых для подсчета, но на них сейчас не стоит останавливаться, вышеприведенные соображения важнее.
Подводя итог, можно сказать, что, несмотря на привлекательность и проработанность системы, она не может использоваться для оценки результатов спортивного соревнования. Это не значит, что от нее надо отказываться. Для нее найдется масса применений. Например, для разработки индивидуальных рейтингов команд/участников, качества мест соревнований, оценки долгосрочных трендов по встречаемости птиц и т.д. и т.п. Система же оценок в бердинг-ралли должна быть гораздо более простой. Напомню регламент. Основной целью участников считается "сфотографировать и определить наибольшее число видов птиц встреченных на маршруте." Точка. С оценкой этой цели вполне справляется простейший критерий: общее число сфотографированных и правильно определенных видов. Все остальное - это то самое "враг хорошего", от которого безболезненно можно отказаться.
Все, спасибо, понятно, мне этого достаточно. То есть, в любом случае используется достаточно произвольный (хотя и широкий) набор критериев и статистических весов.
Принцип расчета прост и интуитивно понятен. Сложность состоит только в большом количестве вычислений, но мы их перекладываем на "могучие плечи компьютера".
Вот, табличка критериев и коэффициентов:
Критерий (Функция)
Описание
Коэффициент (Баллы)
f0
Встреча (фотофиксация) вида (1)
1,00
f1
Правильное определение вида (факт: 1 или 0)
1,00
f2
Встречаемость на прошлых соревнованиях (текуший сезон)
0,50
f3
Встречаемость на прошлых соревнованиях (все сезоны)
0,75
f4
Регулярность встречаемости на прошлых соревнованиях (текущий сезон)
0,50
f5
Регулярность встречаемости на прошлых соревнованиях (все сезоны)
0,75
f6
Встречаемость на текущих соревнованиях
2,50
f7
Красная Книга Региона (факт включения)
0,25
f8
Красная Книга Региона (функция категории статуса)
0,50
f9
Красная Книга России (факт включения)
0,25
f10
Красная Книга России (функция категории статуса)
0,50
f11
Первая встреча за историю соревнований, все сезоны (по факту: 1 или 0)
0,15
f12
Первая встреча за историю соревнований в текущем сезоне (по факту: 1 или 0)
0,10
f13
Резерв 1
0,00
f14
Резерв 2
0,00
f15
Определяемость на прошлых соревнованиях
0,50
f16
Определяемость на текущих соревнованиях
0,75
Баллы расчтитываются как сумма произведений значений критериальных функций на соответствующие весовые коэффициенты.
В качестве примера - табличка значений критериальных функций и расчитанный балл:
(реальный результат из расчета 15 участников)
Скажите, а где я могу посмотреть техническую часть новой системы подсчета (формулы, примеры счета)? Мы не присутствовали на весеннем ралли, где, очевидно, рассказывалось об этой системе, а в текущем регламенте осеннего ралли, это, к глубочайшему сожалению, никак не отражено.
Да, еще, в таком сценарии жюри может работать практически синхронно с участниками, по мере поступления материала, если участникам рекомендовать отсылку фото по мере определения вида.
Изменено пт июн. 07 2013, 12:55PM
Вот, табличка критериев и коэффициентов:
