Delfi

МЕТОД DELPHI (перевод программой PROMT) Определение и Исторический Фон Цель большинства заявлений Delphi - надежное и творческое исследование идей или производство подходящей информации для принятия решения. Метод Delphi основан на структурированном процессе для сбора и дистилляции знания от группы экспертов посредством ряда анкетных опросов, вкрапленных обратной связью мнения, которой управляют (Adler и Ziglio, 1996). Согласно Helmer (1977) Delphi представляет полезное устройство коммуникации среди группы экспертов и таким образом облегчает формирование суждения группы. Wissema (1982) подчеркивающие линии важность Метода Delphi как монопеременная техника исследования для прогноза технологии. Он дальнейшие государства, что метод Delphi был развит, чтобы сделать обсуждение между экспертами возможным, не разрешая определенное социальное диалоговое поведение как, случаются во время нормального обсуждения группы и препятствуют формированию мнения. Болдуин (1975) утверждает, что, испытывая недостаток в полном научном знании, лица, принимающие решение должны положиться на свою собственную интуицию или на опытном мнении. Метод Delphi широко использовался, чтобы произвести прогнозы в технологии, образовании, и других областях (корнуэльский язык, 1977). Технология, предсказывающая исследования, которые в конечном счете привели к развитию метода Delphi, началась в 1944. Тогда Генерал Арнольд попросил, чтобы Theodor von Karman подготовил прогноз будущих технологических способностей, которые могли бы представлять интерес для вооруженных сил (корнуэльский язык, 1977). Арнольд заставил Авиакомпанию Дугласа устанавливать в 1946 Проектный РЭНД (акроним для Научных исследований), чтобы изучить "широкий предмет межконтинентальной войны другой тогда поверхность." В 1959 Helmer и поддерживающий исследователь РЭНДА RESCHER опубликовали работу на "Эпистемологии Неточных Наук,", которые обеспечивают философскую основу для того, что она предсказала (Фаулз, 1978). Документ утверждал, что в областях, которые еще не развились на грани наличия научных законов, доказательство экспертов допустимо. Проблема, как использовать это доказательство и, определенно, как объединить доказательство многих экспертов в единственное полезное утверждение. Метод Delphi признает человеческое суждение как законный и полезный вклад в производстве прогнозов. Единственные эксперты иногда переносят уклоны; встречи группы страдают от, "следуют за лидером" тенденции и нежелание оставить ранее заявленные мнения (Gatewood и Gatewood, 1983, Фаулз, 1978). Чтобы преодолеть эти недостатки, основное понятие метода Delphi, теоретических предположений и методологических процедур развивалось в 1950-ых и 1960-ых в Корпорации РЭНДА. Прогнозы о различном аспекте будущего часто получаются через сопоставление экспертной оценки. Dalkey и Helmer развивали метод для коллекции суждения для таких исследований (Гордон и Hayward, 1968). Фаулз (1978) утверждает, что слово Delphi обращается к освященному участку наиболее уважаемого оракула в древней Греции. Прогнозы и уведомления от богов разыскивались через посредников в этом оракуле. Однако Dalkey (1968) государства, что название "Delphi" никогда не было сроком, которым или Helmer или Dalkey (основатели метода) были особенно счастливы. Dalkey (1968) признал, что было довольно неудачно, что набор процедур, развитых в Корпорации РЭНДА, и, проектировал, чтобы улучшить методы прогноза, прибыл, чтобы быть известным как "Delphi". Он утверждал, что срок подразумевает "кое-что пророческое, кое-что порющее немного оккультизма", тогда как, фактически, точно противоположность вовлечена; это прежде всего заинтересовано в создании лучшего, Вы можете меньше чем совершенный вид информации. Одно из самых первых заявлений метода Delphi, выполненного в Корпорации РЭНДА, иллюстрировано в публикации Гордоном и Helmer (1964). Его цель состояла в том, чтобы оценить руководство долгосрочных тенденций, со специальным акцентом на науке и технике, и их вероятным имуществом на обществе. Исследование затрагивало шесть тем: научные прорывы; популяционный контроль; автоматизация; космическое продвижение; военное предотвращение; системы оружия (Гордон и Helmer, 1968). Первые заявления Delphi были в области технологического прогноза и стремились предсказывать вероятные изобретения, новые технологии и социально-экономическое воздействие технологического изменения (Adler и Ziglio, 1996). В терминах прогноза технологии Levary и Ханьшуй (1995) заявляют цель метода Delphi, чтобы объединить опытные мнения относительно вероятности понимания предложенной технологии так же как опытных мнений относительно ожидаемого времени разработки в единственное положение. Когда метод Delphi был сначала применен к долгосрочному прогнозу, потенциальные будущие события рассмотрели по одному, как если бы они должны были иметь место в изоляции от друг друга. Позже, понятие взаимных воздействий было введено, чтобы преодолеть недостатки этого упрощенного подхода (Helmer, 1977). Согласно Wissema (1982), к сожалению метод Delphi также иногда используется для нормального запроса среди многих экспертов. Delphi нашел свой путь в промышленность, правительство, и наконец, академия. Это одновременно расширилось вне технологического прогноза (Фаулз, 1978). С 1950-ых несколько изысканий использовали метод Delphi, Страница 1 из 7

особенно в общественных проблемах здоровья (такой как, полисы для сокращения использования препарата и предотвращения СПИДа/ВИЧ) и области образования (Adler и Ziglio, 1996; корнуэльский язык, 1977). Основы Метода Delphi Метод Delphi - осуществление в обмене информацией в группе среди группы географически рассеянных экспертов (Adler и Ziglio, 1996). Техника позволяет экспертам иметь дело систематически со сложной проблемой или задачей. Сущность техники является довольно прямой. Это включает ряд анкетных опросов, посланных или почтой или через компьютеризированные системы, к предотобранной группе экспертов. Эти анкетные опросы разработаны, чтобы выявить и развить индивидуальные ответы на изложенные проблемы и позволить экспертам очистить свои взгляды как ход работ строительства группы в соответствии с назначенной задачей. Главный пункт позади метода Delphi должен преодолеть неудобства обычного действия комитета. Согласно Фаулзу (1978) анонимность, обратная связь, которой управляют, и статистический ответ характеризуют Delphi. Взаимодействие группы в Delphi является анонимным, в смысле, который комментирует, предсказывает, и т.п. не идентифицирован относительно их создателя, но представлен группе таким способом как, чтобы подавить любую идентификацию. В оригинальном процессе Delphi ключевые элементы были (1) структурирование информационного потока, (2) обратная связь участникам, и (3) анонимность для участников. Ясно, эти особенности могут предложить отличные преимущества перед обычной конференцией лицом к лицу как инструмент коммуникации. Взаимодействиями среди членов комиссии управляют групповой директор или монитор, кто отфильтровывает материал, не связанный с целью группы (Martino, 1978). Обычные проблемы динамики группы таким образом полностью обходятся. Фаулз (1978) описывает следующие десять шагов для метода Delphi: 1. Формирование команды, чтобы предпринять и контролировать Delphi на данном предмете.

2. Выбор одной или более групп, чтобы участвовать в осуществлении. Обычно, участники публичной дискуссии эксперты в области, которая будет исследована.

3. Развитие первого раунда анкетный опрос Delphi 4. Проверяя анкетный опрос на надлежащую формулировку (например, двусмысленности, неопределенность) 5. Передача первых анкетных опросов участникам публичной дискуссии 6. Анализ первых круглых ответов 7. Подготовка вторых круглых анкетных опросов (и возможное тестирование) 8. Передача вторых круглых анкетных опросов участникам публичной дискуссии 9. Анализ вторых круглых ответов (Шаги 7 - 9 повторены пока желательно или необходимые, чтобы достигнуть стабильности в результатах).

10. Подготовка сообщения командой анализа, чтобы представить заключения осуществления Delbecq и др., (1975) утверждают, что самая важная проблема в этом процессе - понимание цели осуществления Delphi всеми участниками. Иначе участники публичной дискуссии могут ответить неуместно или расстроиться и потерять интерес. Ответчикам к анкетному опросу нужно хорошо сообщить в соответствующей области (Hanson и Ramani, 1988), но литература (Армстронг, 1978; Welty, 1972), предполагают, что высокая степень экспертизы не необходима. Минимальное число участников, чтобы гарантировать хорошую работу группы несколько зависит от проекта исследования. Эксперименты Brockhoff (1975) предполагают, что при идеальных обстоятельствах, группы столь же маленькие как четыре могут выступить хорошо. Прежде, чем решить, должен ли метод Delphi использоваться, очень важно рассмотреть полностью контекст, в пределах которого метод должен быть применен (Delbecq и др. 1975). Многие вопросы нужно задать прежде, чем принять решение отбора или исключения техника Delphi (Adler и Ziglio, 1996): * Какой процесс обмена информацией в группе желателен, чтобы исследовать проблему под рукой? * Кто люди с экспертизой относительно проблемы и где они расположены? * Что альтернативные методы доступны и какие результаты могут разумно ожидаться от их заявления? Только то, когда на вышеупомянутые вопросы отвечают, может каждый решать, является ли метод Delphi соответствующим контексту, в котором он будет применен. Adler и Ziglio (1996) дальнейшее требование, что отказ обратиться к вышеупомянутым вопросам может привести к несоответствующим заявлениям Delphi и дискредитировать целое творческое усилие. Результат последовательности Delphi - только мнение. Результаты последовательности только столь же действительны как мнения относительно экспертов, которые составляли группу (Martino, 1978). Групповая точка зрения получена в итоге статистически, а не в терминах решения большинством голосов. Страница 2 из 7

У метода Delphi есть критика так же как поддержка. Самый обширный критический анализ метода Delphi был сделан Sackman (1974), кто критикует метод, как являющийся ненаучным и Армстронг (1978), кто написал критически его точности. Martino (1978) подчеркивающие линии факт, что Delphi - метод последней инстанции имея дело с чрезвычайно сложными проблемами, для которых нет никаких адекватных моделей. Helmer (1977) государства, что иногда уверенность относительно интуитивного суждения не только целесообразный временный служащий, но и фактически принудительное требование. Makridakis и Wheelright (1978) суммируют общие жалобы против метода Delphi в терминах (a) низкая надежность уровня суждений среди экспертов, и поэтому зависимость прогнозов на специфических судьях выбрала; (b) чувствительность результатов к двусмысленности в анкетном опросе, который используется для накопления данных в каждом раунде; и (c) трудность в оценке степени экспертизы соединился в прогноз. Martino (1978) списки главные проблемы о методе Delphi: * Дисконтирование будущего: Будущее (и мимо) случаи не столь же важны как текущие, поэтому можно иметь тенденцию обесценить будущие события. * Убеждение упрощения: Эксперты имеют тенденцию судить будущее событий в изоляции от других событий. Целостное представление будущих событий, где изменение имело распространяющееся влияние, не может визуализироваться легко. В этом пункте поперечный анализ влияния имеет некоторую помощь. * Иллюзорная экспертиза: некоторые из экспертов могут быть бедными предсказателями. Эксперт имеет тенденцию быть специалистом и таким образом рассматривает прогноз в урегулировании, которое не является самым соответствующим. * Мокрое выполнение: есть много способов сделать плохую работу. Выполнение процесса Delphi может освободить необходимое внимание легко. * Уклон формата: это должно быть признано, что формат анкетного опроса может быть неподходящим некоторым потенциальным социальным участникам. * Манипуляция Delphi: ответы могут быть изменены мониторами в надежде на перемещение следующих круглых ответов в желательном руководстве.

Goldschmidt (1975) соглашается, что были, многие плохо провели проекты Delphi. Однако, он предупреждает, что это фундаментальная ошибка равнять заявления метода Delphi с методом Delphi непосредственно, так слишком много критиков делают. Есть, фактически, важное концептуальное различие между оценкой техники и оценкой заявления техники. С другой стороны было несколько исследований (Сережка, 1970; Wissema, 1982; Helmer, 1983) поддержка метода Delphi. Исследование, проводимое Milkovich и др. (1972) сообщения использование метода Delphi в прогнозе трудовых ресурсов. Результаты сравнения указали высокое соглашение между оценкой Delphi и фактическим нанятым числом и меньше соглашения между количественными прогнозами и нанятым числом. Другое исследование Basu и Шрёдером (1977) сообщения подобные результаты в общей проблеме прогноза. Они сравнили прогнозы Delphi пятилетних продаж и с неструктурированными, субъективными прогнозами и с количественными прогнозами, которые использовали исследования регресса и показательное выравнивание. Delphi прогноз состоял из трех раундов, используя 23 ключевых участников организации. Когда сравнено с фактическими продажами в течение первых двух лет, об ошибках 3-4 % сообщили для Delphi, 10-15 % для количественных методов, и приблизительно 20 % для ранее используемых неструктурированных, субъективных прогнозов. Вообще, метод Delphi является полезным в ответе на тот, определенным, вопрос единственного измерения. Есть меньше поддержки ее использованию, чтобы определить сложные прогнозы относительно многократных факторов. Такое сложное образцовое здание является более соответствующим для количественных моделей с результатами Delphi, служащими вкладом (Gatewood и Gatewood, 1983). Этот пункт поддержан Гордоном и Hayward (1968), кто утверждает, что метод Delphi, основанный на сопоставлении экспертной оценки, страдает от возможности, что реакции между предсказанными пунктами нельзя полностью рассмотреть. На потребность во взаимном методе матрицы воздействия прогноза интегрированного с методом Delphi указывают много исследователей (Гордон и Hayward, 1968; Gatewood и Gatewood, 1983; Adler и Ziglio, 1996). Усовершенствование прогноза надежности по методу Delphi, как думали, было достижимо, учитывая возможность, что возникновение одного случая может вызвать увеличение или уменьшение в вероятности возникновения других событий, включенных в обзор (Helmer, 1978). Поэтому взаимный анализ влияния развился как расширение методов Delphi.

Страница 3 из 7

THE DELPHI METHOD (оригинальный текст http://www.iit.edu/~it/delphi.html) Definition and Historical Background The objective of most Delphi applications is the reliable and creative exploration of ideas or the production of suitable information for decision making. The Delphi Method is based on a structured process for collecting and distilling knowledge from a group of experts by means of a series of questionnaires interspersed with controlled opinion feedback (Adler and Ziglio, 1996). According to Helmer (1977) Delphi represents a useful communication device among a group of experts and thus facilitates the formation of a group judgement. Wissema (1982) underlines the importance of the Delphi Method as a monovariable exploration technique for technology forecasting. He further states that the Delphi method has been developed in order to make discussion between experts possible without permitting a certain social interactive behavior as happens during a normal group discussion and hampers opinion forming. Baldwin (1975) asserts that lacking full scientific knowledge, decision-makers have to rely on their own intuition or on expert opinion. The Delphi method has been widely used to generate forecasts in technology, education, and other fields (Cornish, 1977).

The technology forecasting studies which eventually led to the development of the Delphi method started in 1944. At that time General Arnold asked Theodor von Karman to prepare a forecast of future technological capabilities that might be of interest to the military (Cornish, 1977). Arnold got the Douglas Aircraft company to establish in 1946 a Project RAND (an acronym for Research and Development) to study the "broad subject of inter-continental warfare other then surface." In 1959 Helmer and fellow RAND researcher Rescher published a paper on "The Epistemology of the Inexact Sciences," which provide a philosophical base for forecasting (Fowles, 1978). The paper argued that in fields that have not yet developed to the point of having scientific laws, the testimony of experts is permissible. The problem is how to use this testimony and, specifically, how to combine the testimony of a number of experts into a single useful statement. The Delphi method recognizes human judgement as legitimate and useful inputs in generating forecasts. Single experts sometimes suffer biases; group meetings suffer from "follow the leader" tendencies and reluctance to abandon previously stated opinions (Gatewood and Gatewood, 1983, Fowles, 1978). In order to overcome these shortcomings the basic notion of the Delphi method, theoretical assumptions and methodological procedures developed in the 1950s and 1960s at the RAND Corporation. Forecasts about various aspect of the future are often derived through the collation of expert judgement. Dalkey and Helmer developed the method for the collection of judgement for such studies (Gordon and Hayward, 1968).

Fowles (1978) asserts that the word Delphi refers to the hallowed site of the most revered oracle in ancient Greece. Forecasts and advices from gods were sought through intermediaries at this oracle.

However Dalkey (1968) states that the name "Delphi" was never a term with which either Helmer or Dalkey (the founders of the method) were particularly happy. Dalkey (1968) acknowledged that it was rather unfortunate that the set of procedures developed at the RAND Corporation, and designed to improve methods of forecasting, came to be known as "Delphi". He argued that the term implies "something oracular, something smacking a little of the occult", whereas, as a matter of fact, precisely the opposite is involved; it is primarily concerned with making the best you can of a less than perfect kind of information.

One of the very first applications of the Delphi method carried out at the RAND Corporation is illustrated in the publication by Gordon and Helmer (1964). Its aim was to assess the direction of long-range trends, with special emphasis on science and technology, and their probable effects on society. The study covered six topics: scientific breakthroughs; population control; automation; space progress; war prevention; weapon systems (Gordon and Helmer, 1968). The first Delphi applications were in the area of technological forecasting and aimed to forecast likely inventions, new technologies and the social and economic impact of technological change (Adler and Ziglio, 1996). In terms of technology forecasting, Страница 4 из 7

Levary and Han (1995) state the objective of the Delphi method as to combine expert opinions concerning the likelihood of realizing the proposed technology as well as expert opinions concerning the expected development time into a single position. When the Delphi method was first applied to longrange forecasting, potential future events were considered one at a time as though they were to take place in isolation from one another. Later on, the notion of cross impacts was introduced to overcome the shortcomings of this simplistic approach (Helmer, 1977).

According to Wissema (1982), unfortunately the Delphi method is also sometimes used for a normal inquiry among a number of experts. Delphi has found its way into industry, government, and finally, academe. It has simultaneously expanded beyond technological forecasting (Fowles, 1978). Since the 1950s several research studies have used the Delphi method, particularly in public health issues (such as, policies for drug use reduction and prevention of AIDS/HIV) and education areas (Adler and Ziglio, 1996; Cornish, 1977).

The Basics of the Delphi Method The Delphi method is an exercise in group communication among a panel of geographically dispersed experts (Adler and Ziglio, 1996). The technique allows experts to deal systematically with a complex problem or task. The essence of the technique is fairly straightforward. It comprises a series of questionnaires sent either by mail or via computerized systems, to a pre-selected group of experts. These questionnaires are designed to elicit and develop individual responses to the problems posed and to enable the experts to refine their views as the group’s work progresses in accordance with the assigned task. The main point behind the Delphi method is to overcome the disadvantages of conventional committee action.

According to Fowles (1978) anonymity, controlled feedback, and statistical response characterize Delphi.

The group interaction in Delphi is anonymous, in the sense that comments, forecasts, and the like are not identified as to their originator but are presented to the group in such a way as to suppress any identification.

In the original Delphi process, the key elements were (1) structuring of information flow, (2) feedback to the participants, and (3) anonymity for the participants. Clearly, these characteristics may offer distinct advantages over the conventional face-to-face conference as a communication tool. The interactions among panel members are controlled by a panel director or monitor who filters out material not related to the purpose of the group (Martino, 1978). The usual problems of group dynamics are thus completely bypassed. Fowles (1978) describes the following ten steps for the Delphi method: 1. Formation of a team to undertake and monitor a Delphi on a given subject.

2. Selection of one or more panels to participate in the exercise. Customarily, the panelists are experts in the area to be investigated.

3. Development of the first round Delphi questionnaire 4. Testing the questionnaire for proper wording (e.g., ambiguities, vagueness) 5. Transmission of the first questionnaires to the panelists 6. Analysis of the first round responses 7. Preparation of the second round questionnaires (and possible testing) 8. Transmission of the second round questionnaires to the panelists 9. Analysis of the second round responses (Steps 7 to 9 are reiterated as long as desired or necessary to achieve stability in the results.)

10. Preparation of a report by the analysis team to present the conclusions of the exercise Delbecq et al., (1975) argue that the most important issue in this process is the understanding of the aim of the Delphi exercise by all participants. Otherwise the panelists may answer inappropriately or become frustrated and lose interest. The respondents to the questionnaire should be well informed in the appropriate area (Hanson and Ramani, 1988) but the literature (Armstrong, 1978; Welty, 1972) suggest Страница 5 из 7

that a high degree of expertise is not necessary. The minimum number of participants to ensure a good group performance is somewhat dependent on the study design. Experiments by Brockhoff (1975) suggest that under ideal circumstances, groups as small as four can perform well.

Before deciding whether or not the Delphi method should be used, it is very important to consider thoroughly the context within which the method is to be applied (Delbecq et al. 1975). A number of questions need to be asked before making the decision of selecting or ruling out the Delphi technique (Adler and Ziglio, 1996): • • •

What kind of group communication process is desirable in order to explore the problem at hand?

Who are the people with expertise on the problem and where are they located?

What are the alternative techniques available and what results can reasonably be expected from their application?

Only when the above questions are answered can one decide whether the Delphi method is appropriate to the context in which it will be applied. Adler and Ziglio (1996) further claim that failure to address the above questions may lead to inappropriate applications of Delphi and discredit the whole creative effort.

The outcome of a Delphi sequence is nothing but opinion. The results of the sequence are only as valid as the opinions of the experts who made up the panel (Martino, 1978). The panel viewpoint is summarized statistically rather than in terms of a majority vote.

The Delphi method has got criticism as well as support. The most extensive critique of the Delphi method was made by Sackman (1974) who criticizes the method as being unscientific and Armstrong (1978) who has written critically of its accuracy. Martino (1978) underlines the fact that Delphi is a method of last resort in dealing with extremely complex problems for which there are no adequate models. Helmer (1977) states that sometimes reliance on intuitive judgement is not just a temporary expedient but in fact a mandatory requirement. Makridakis and Wheelright (1978) summarize the general complaints against the Delphi method in terms of (a) a low level reliability of judgements among experts and therefore dependency of forecasts on the particular judges selected; (b) the sensitivity of results to ambiguity in the questionnaire that is used for data collection in each round; and (c) the difficulty in assessing the degree of expertise incorporated into the forecast. Martino (1978) lists major concerns about the Delphi method: • •

• • • •

Discounting the future: Future (and past) happenings are not as important as the current ones, therefore one may have a tendency to discount the future events.

The simplification urge: Experts tend to judge the future of events in isolation from other developments. A holistic view of future events where change has had a pervasive influence cannot be visualized easily. At this point cross-impact analysis is of some help.

Illusory expertise: some of the experts may be poor forecasters. The expert tends to be a specialist and thus views the forecast in a setting which is not the most appropriate one.

Sloppy execution: there are many ways to do a poor job. Execution of the Delphi process may loose the required attention easily.

Format bias: it should be recognized that the format of the questionnaire may be unsuitable to some potential societal participants.

Manipulation of Delphi: The responses can be altered by the monitors in the hope of moving the next round responses in a desired direction.

Goldschmidt (1975) agrees that there have been many poorly conducted Delphi projects. However, he warns that it is a fundamental mistake to equate the applications of the Delphi method with the Delphi method itself, as too many critics do. There is, in fact, an important conceptual distinction between evaluating a technique and evaluating an application of a technique. Страница 6 из 7

On the other hand there have been several studies (Ament, 1970; Wissema, 1982; Helmer, 1983) supporting the Delphi method. A study conducted by Milkovich et al. (1972) reports the use of the Delphi method in manpower forecasting. The results of the comparison indicated high agreement between the Delphi estimate and the actual number hired and less agreement between quantitative forecasts and the number hired. Another study by Basu and Schroeder (1977) reports similar results in a general forecasting problem. They compared Delphi forecasts of five-year sales with both unstructured, subjective forecasts and quantitative forecasts that used regression analyses and exponential smoothing. The Delphi forecasting consisted of three rounds using 23 key organization members. When compared against actual sales for the first two years, errors of 3-4% were reported for Delphi, 10-15% for the quantitative methods, and of approximately 20% for the previously used unstructured, subjective forecasts.

In general, the Delphi method is useful in answering one, specific, single-dimension question. There is less support for its use to determine complex forecasts concerning multiple factors. Such complex model building is more appropriate for quantitative models with Delphi results serving as inputs (Gatewood and Gatewood, 1983). This point is supported by Gordon and Hayward (1968) who claim that the Delphi method, based on the collation of expert judgement, suffers from the possibility that reactions between forecasted items may not be fully considered. The need for the cross impact matrix method of forecasting integrated with the Delphi method is pointed out by many researchers (Gordon and Hayward, 1968; Gatewood and Gatewood, 1983; Adler and Ziglio, 1996). An improvement in forecasting reliability over the Delphi method was thought to be attainable by taking into consideration the possibility that the occurrence of one event may cause an increase or decrease in the probability of occurrence of other events included in the survey (Helmer, 1978). Therefore cross impact analysis has developed as an extension of Delphi techniques.

Страница 7 из 7