DELPHI METHOD
Definition and Historical Background
The objective of most Delphi applications is the reliable and creative exploration of ideas or the production of suitable information for decision making. The Delphi Method is based on a structured process for collecting and distilling knowledge from a group of experts by means of a series of questionnaires interspersed with controlled opinion feedback (Adler and Ziglio, 1996). According to Helmer (1977) Delphi represents a useful communication device among a group of experts and thus facilitates the formation of a group judgement. Wissema (1982) underlines the importance of the Delphi Method as a monovariable exploration technique for technology forecasting. He further states that the Delphi method has been developed in order to make discussion between experts possible without permitting a certain social interactive behavior as happens during a normal group discussion and hampers opinion forming. Baldwin (1975) asserts that lacking full scientific knowledge, decision-makers have to rely on their own intuition or on expert opinion. The Delphi method has been widely used to generate forecasts in technology, education, and other fields (Cornish, 1977).
The technology forecasting studies which eventually led to the development of the Delphi method started in 1944. At that time General Arnold asked Theodor von Karman to prepare a forecast of future technological capabilities that might be of interest to the military (Cornish, 1977). Arnold got the Douglas Aircraft company to establish in 1946 a Project RAND (an acronym for Research and Development) to study the "broad subject of inter-continental warfare other then surface." In 1959 Helmer and fellow RAND researcher Rescher published a paper on "The Epistemology of the Inexact Sciences," which provide a philosophical base for forecasting (Fowles, 1978). The paper argued that in fields that have not yet developed to the point of having scientific laws, the testimony of experts is permissible. The problem is how to use this testimony and, specifically, how to combine the testimony of a number of experts into a single useful statement. The Delphi method recognizes human judgement as legitimate and useful inputs in generating forecasts. Single experts sometimes suffer biases; group meetings suffer from "follow the leader" tendencies and reluctance to abandon previously stated opinions (Gatewood and Gatewood, 1983, Fowles, 1978). In order to overcome these shortcomings the basic notion of the Delphi method, theoretical assumptions and methodological procedures developed in the 1950s and 1960s at the RAND Corporation. Forecasts about various aspect of the future are often derived through the collation of expert judgement. Dalkey and Helmer developed the method for the collection of judgement for such studies (Gordon and Hayward, 1968).
Fowles (1978) asserts that the word Delphi refers to the hallowed site of the most revered oracle in ancient Greece. Forecasts and advices from gods were sought through intermediaries at this oracle. However Dalkey (1968) states that the name "Delphi" was never a term with which either Helmer or Dalkey (the founders of the method) were particularly happy. Dalkey (1968) acknowledged that it was rather unfortunate that the set of procedures developed at the RAND Corporation, and designed to improve methods of forecasting, came to be known as "Delphi". He argued that the term implies "something oracular, something smacking a little of the occult", whereas, as a matter of fact, precisely the opposite is involved; it is primarily concerned with making the best you can of a less than perfect kind of information.
One of the very first applications of the Delphi method carried out at the RAND Corporation is illustrated in the publication by Gordon and Helmer (1964). Its aim was to assess the direction of long-range trends, with special emphasis on science and technology, and their probable effects on society. The study covered six topics: scientific breakthroughs; population control; automation; space progress; war prevention; weapon systems (Gordon and Helmer, 1968). The first Delphi applications were in the area of technological forecasting and aimed to forecast likely inventions, new technologies and the social and economic impact of technological change (Adler and Ziglio, 1996). In terms of technology forecasting, Levary and Han (1995) state the objective of the Delphi method as to combine expert opinions concerning the likelihood of realizing the proposed technology as well as expert opinions concerning the expected development time into a single position. When the Delphi method was first applied to long-range forecasting, potential future events were considered one at a time as though they were to take place in isolation from one another. Later on, the notion of cross impacts was introduced to overcome the shortcomings of this simplistic approach (Helmer, 1977).
According to Wissema (1982), unfortunately the Delphi method is also sometimes used for a normal inquiry among a number of experts. Delphi has found its way into industry, government, and finally, academe. It has simultaneously expanded beyond technological forecasting (Fowles, 1978). Since the 1950s several research studies have used the Delphi method, particularly in public health issues (such as, policies for drug use reduction and prevention of AIDS/HIV) and education areas (Adler and Ziglio, 1996; Cornish, 1977).
The Basics of the Delphi Method
The Delphi method is an exercise in group communication among a panel of geographically dispersed experts (Adler and Ziglio, 1996). The technique allows experts to deal systematically with a complex problem or task. The essence of the technique is fairly straightforward. It comprises a series of questionnaires sent either by mail or via computerized systems, to a pre-selected group of experts. These questionnaires are designed to elicit and develop individual responses to the problems posed and to enable the experts to refine their views as the group’s work progresses in accordance with the assigned task. The main point behind the Delphi method is to overcome the disadvantages of conventional committee action. According to Fowles (1978) anonymity, controlled feedback, and statistical response characterize Delphi. The group interaction in Delphi is anonymous, in the sense that comments, forecasts, and the like are not identified as to their originator but are presented to the group in such a way as to suppress any identification.
In the original Delphi process, the key elements were (1) structuring of information flow, (2) feedback to the participants, and (3) anonymity for the participants. Clearly, these characteristics may offer distinct advantages over the conventional face-to-face conference as a communication tool. The interactions among panel members are controlled by a panel director or monitor who filters out material not related to the purpose of the group (Martino, 1978). The usual problems of group dynamics are thus completely bypassed. Fowles (1978) describes the following ten steps for the Delphi method:
- Formation of a team to undertake and monitor a Delphi on a given subject.
- Selection of one or more panels to participate in the exercise. Customarily, the panelists are experts in the area to be investigated.
- Development of the first round Delphi questionnaire
- Testing the questionnaire for proper wording (e.g., ambiguities, vagueness)
- Transmission of the first questionnaires to the panelists
- Analysis of the first round responses
- Preparation of the second round questionnaires (and possible testing)
- Transmission of the second round questionnaires to the panelists
- Analysis of the second round responses (Steps 7 to 9 are reiterated as long as desired or necessary to achieve stability in the results.)
- Preparation of a report by the analysis team to present the conclusions of the exercise
Delbecq et al., (1975) argue that the most important issue in this process is the understanding of the aim of the Delphi exercise by all participants. Otherwise the panelists may answer inappropriately or become frustrated and lose interest. The respondents to the questionnaire should be well informed in the appropriate area (Hanson and Ramani, 1988) but the literature (Armstrong, 1978; Welty, 1972) suggest that a high degree of expertise is not necessary. The minimum number of participants to ensure a good group performance is somewhat dependent on the study design. Experiments by Brockhoff (1975) suggest that under ideal circumstances, groups as small as four can perform well.
Before deciding whether or not the Delphi method should be used, it is very important to consider thoroughly the context within which the method is to be applied (Delbecq et al. 1975). A number of questions need to be asked before making the decision of selecting or ruling out the Delphi technique (Adler and Ziglio, 1996):
- What kind of group communication process is desirable in order to explore the problem at hand?
- Who are the people with expertise on the problem and where are they located?
- What are the alternative techniques available and what results can reasonably be expected from their application?
Only when the above questions are answered can one decide whether the Delphi method is appropriate to the context in which it will be applied. Adler and Ziglio (1996) further claim that failure to address the above questions may lead to inappropriate applications of Delphi and discredit the whole creative effort.
The outcome of a Delphi sequence is nothing but opinion. The results of the sequence are only as valid as the opinions of the experts who made up the panel (Martino, 1978). The panel viewpoint is summarized statistically rather than in terms of a majority vote.
The Delphi method has got criticism as well as support. The most extensive critique of the Delphi method was made by Sackman (1974) who criticizes the method as being unscientific and Armstrong (1978) who has written critically of its accuracy. Martino (1978) underlines the fact that Delphi is a method of last resort in dealing with extremely complex problems for which there are no adequate models. Helmer (1977) states that sometimes reliance on intuitive judgement is not just a temporary expedient but in fact a mandatory requirement. Makridakis and Wheelright (1978) summarize the general complaints against the Delphi method in terms of (a) a low level reliability of judgements among experts and therefore dependency of forecasts on the particular judges selected; (b) the sensitivity of results to ambiguity in the questionnaire that is used for data collection in each round; and (c) the difficulty in assessing the degree of expertise incorporated into the forecast. Martino (1978) lists major concerns about the Delphi method:
- Discounting the future: Future (and past) happenings are not as important as the current ones, therefore one may have a tendency to discount the future events.
- The simplification urge: Experts tend to judge the future of events in isolation from other developments. A holistic view of future events where change has had a pervasive influence cannot be visualized easily. At this point cross-impact analysis is of some help.
- Illusory expertise: some of the experts may be poor forecasters. The expert tends to be a specialist and thus views the forecast in a setting which is not the most appropriate one.
- Sloppy execution: there are many ways to do a poor job. Execution of the Delphi process may loose the required attention easily.
- Format bias: it should be recognized that the format of the questionnaire may be unsuitable to some potential societal participants.
- Manipulation of Delphi: The responses can be altered by the monitors in the hope of moving the next round responses in a desired direction.
Goldschmidt (1975) agrees that there have been many poorly conducted Delphi projects. However, he warns that it is a fundamental mistake to equate the applications of the Delphi method with the Delphi method itself, as too many critics do. There is, in fact, an important conceptual distinction between evaluating a technique and evaluating an application of a technique.
On the other hand there have been several studies (Ament, 1970; Wissema, 1982; Helmer, 1983) supporting the Delphi method. A study conducted by Milkovich et al. (1972) reports the use of the Delphi method in manpower forecasting. The results of the comparison indicated high agreement between the Delphi estimate and the actual number hired and less agreement between quantitative forecasts and the number hired. Another study by Basu and Schroeder (1977) reports similar results in a general forecasting problem. They compared Delphi forecasts of five-year sales with both unstructured, subjective forecasts and quantitative forecasts that used regression analyses and exponential smoothing. The Delphi forecasting consisted of three rounds using 23 key organization members. When compared against actual sales for the first two years, errors of 3-4% were reported for Delphi, 10-15% for the quantitative methods, and of approximately 20% for the previously used unstructured, subjective forecasts.
In general, the Delphi method is useful in answering one, specific, single-dimension question. There is less support for its use to determine complex forecasts concerning multiple factors. Such complex model building is more appropriate for quantitative models with Delphi results serving as inputs (Gatewood and Gatewood, 1983). This point is supported by Gordon and Hayward (1968) who claim that the Delphi method, based on the collation of expert judgement, suffers from the possibility that reactions between forecasted items may not be fully considered. The need for the cross impact matrix method of forecasting integrated with the Delphi method is pointed out by many researchers (Gordon and Hayward, 1968; Gatewood and Gatewood, 1983; Adler and Ziglio, 1996). An improvement in forecasting reliability over the Delphi method was thought to be attainable by taking into consideration the possibility that the occurrence of one event may cause an increase or decrease in the probability of occurrence of other events included in the survey (Helmer, 1978). Therefore cross impact analysis has developed as an extension of Delphi techniques.
TERJEMAHAN
DELPHI METHOD
Definisi dan latar belakang sejarah
Tujuan dari Delphi kebanyakan adalah aplikasi handal dan kreatif eksplorasi ide atau produksi sesuai informasi untuk pengambilan keputusan. Metode Delphi yang didasarkan pada sebuah proses terstruktur untuk mengumpulkan dan membawa pengetahuan dari sekelompok ahli dengan cara serangkaian kuesioner maupun yang dikontrol dengan pendapat umpan balik (Adler dan Ziglio, 1996). Menurut Helmer (1977) Delphi merupakan perangkat komunikasi yang berguna di antara sekelompok ahli sehingga memudahkan pembentukan kelompok itu. Wissema (1982) menekankan pentingnya dari Delphi Metode sebagai monovariable eksplorasi teknik untuk teknologi perencanaan. Ia juga menyatakan bahwa Delphi metode telah dikembangkan untuk membuat diskusi antara ahli mungkin tanpa perijinan tertentu sebagai perilaku sosial interaktif yang biasa terjadi selama grup diskusi dan hampers membentuk pendapat. Baldwin (1975) menegaskan bahwa pengetahuan ilmiah kurang lengkap, keputusan-keputusan harus bergantung pada intuisi mereka sendiri atau pada pendapat ahli. Delphi metode yang telah digunakan secara luas untuk menghasilkan prakiraan dalam teknologi, pendidikan, dan bidang lain (Cornish, 1977).
Teknologi peramalan studi yang akhirnya menyebabkan pembangunan Delphi metode ini dimulai pada 1944. Pada waktu yang diminta Umum Arnold Theodor von Karman untuk menyusun prakiraan kemampuan teknologi masa depan yang mungkin menarik untuk militer (Cornish, 1977). Arnold mendapatkan Douglas Aircraft untuk mendirikan perusahaan pada tahun 1946 Proyek Rand (sebuah akronim untuk Penelitian dan Pengembangan) untuk belajar, "subyek luas antar-benua lain perang maka permukaan." Pada 1959 Helmer dan sesama Rand peneliti Rescher dipublikasikan sebuah karya mengenai "Epistemologi Ilmu dari tdk tepat," filosofis yang memberikan dasar untuk perencanaan (Fowles, 1978). Karya bahwa dalam bidang-bidang yang belum dikembangkan untuk memiliki sudut undang-undang ilmiah, kesaksian ahli yang dibolehkan. Masalahnya adalah bagaimana menggunakan dan kesaksian ini, secara khusus, bagaimana untuk menggabungkan kesaksian sejumlah pakar dalam satu pernyataan yang berguna. Delphi metode yang mengakui manusia sebagai keputusan yang sah dan berguna dalam memberikan masukan prakiraan. Single ahli kadang-kadang menderita biases; pertemuan kelompok menderita dari "ikuti pemimpin" tendensi dan keengganan untuk membuang sebelumnya menyatakan pendapat (Gatewood dan Gatewood, 1983, Fowles, 1978). Untuk mengatasi kekurangan ini dasar konsep yang Delphi metode, teori dan metodologi prosedur asumsi yang berkembang di tahun 1950-an dan 1960-an di Rand Corporation. Prakiraan tentang berbagai aspek dari masa depan yang sering diturunkan melalui koleksi ahli penghakiman. Dalkey dan Helmer mengembangkan metode untuk pengumpulan penghakiman tersebut untuk studi (Gordon dan Hayward, 1968).
Fowles (1978) menegaskan bahwa kata Delphi hallowed merujuk kepada situs yang paling bijaksana dituduh kuno di Yunani. Prakiraan dan konsultasi dari tuhan yang dicari melalui perantara di ramalan ini. Namun Dalkey (1968) menyatakan bahwa nama "Delphi" tidak pernah dengan istilah yang baik Helmer atau Dalkey (pendiri metode) yang khususnya senang. Dalkey (1968) mengakui bahwa ia agak musibah yang mengatur prosedur yang dikembangkan di Rand Corporation, dan dirancang untuk meningkatkan metode ramalan, datang ke dikenal sebagai "Delphi". Ia mengatakan bahwa Istilah berarti "sesuatu yg artinya, sesuatu cepak sedikit dari rahasia", sedangkan, sebagai kenyataan, tepat di seberang terlibat, tetapi terutama yang bersangkutan dengan melakukan yang terbaik dari yang Anda dapat kurang dari sempurna jenis informasi.
Salah satu aplikasi pertama dari Delphi metode dilakukan di pinggir Corporation itu terlihat dalam publikasi oleh Gordon dan Helmer (1964). Para Tujuannya adalah untuk menilai arah tren jangka panjang, dengan penekanan khusus di bidang ilmu pengetahuan dan teknologi, dan mereka kemungkinan efek pada masyarakat. Studi ini meliputi enam topik: terobosan-terobosan ilmiah; populasi kontrol; otomatisasi; ruang kemajuan; perang pencegahan; sistem senjata (Gordon dan Helmer, 1968). Yang pertama adalah aplikasi Delphi di kawasan teknologi perencanaan dan bertujuan untuk meramalkan kemungkinan adakan, baru teknologi dan sosial ekonomi dan dampak perubahan teknologi (Adler dan Ziglio, 1996). Dalam hal teknologi peramalan, Levary dan Han (1995) negara tujuan dari Delphi sebagai metode untuk menggabungkan pendapat ahli tentang kemungkinan mewujudkan usulan teknologi serta pendapat ahli tentang pembangunan yang diharapkan dalam waktu satu posisi. Bila metode Delphi pertama kali diterapkan untuk perencanaan jangka panjang, potensi peristiwa masa depan dianggap satu per satu seolah-olah mereka untuk mengambil tempat di isolasi dari satu sama lain. Nantinya, konsep dampak lintas telah diperkenalkan untuk mengatasi kekurangan dari pendekatan ini simplistik (Helmer, 1977).
Menurut Wissema (1982), yang sayangnya Delphi metode ini kadang-kadang juga biasa digunakan untuk sebuah pertanyaan di antara sejumlah ahli. Delphi telah ditemukan dengan cara menjadi industri, pemerintah, dan akhirnya, academe. Ini sekaligus telah diperluas melebihi teknologi peramalan (Fowles, 1978). Sejak tahun 1950-an beberapa studi penelitian telah menggunakan metode Delphi, terutama dalam masalah kesehatan masyarakat (seperti, kebijakan untuk mengurangi penggunaan narkoba dan pencegahan AIDS / HIV) dan pendidikan daerah (Adler dan Ziglio, 1996; Cornish, 1977).
Dasar-dasar dari Delphi Metode
Delphi metode yang merupakan latihan dalam kelompok komunikasi antara panel secara geografis ahli (Adler dan Ziglio, 1996). Yang memungkinkan para ahli teknik sistematis untuk menangani masalah kompleks dengan atau tugas. Inti dari teknik ini cukup mudah. Ia terdiri dari serangkaian kuesioner dikirim baik oleh mail atau melalui sistem komputerisasi, untuk pra-ahli dipilih grup. Kuesioner ini dirancang untuk mendapat tanggapan dan mengembangkan individu untuk menimbulkan masalah dan untuk mengaktifkan ahli untuk memperbaiki mereka dilihat sebagai kelompok kerja berlangsung sesuai dengan tugas yang diberikan. Jalur utama di belakang Delphi adalah metode untuk mengatasi kekurangan konvensional komite aksi. Menurut Fowles (1978) kerahasiaan, dikontrol tanggapan, dan statistik respon ciri Delphi. Grup interaksi di Delphi adalah anonim, dalam arti bahwa komentar, prakiraan, dan sejenisnya tidak diidentifikasi sebagai pemula untuk mereka tetapi disajikan ke dalam kelompok tersebut sebagai cara untuk menyembunyikan apapun identifikasi.
Dalam proses Delphi asli, unsur utama adalah (1) struktur dari arus informasi, (2) umpan balik kepada para peserta, dan (3) kerahasiaan untuk peserta. Jelas, ini mungkin memberikan karakteristik berbeda dibandingkan dengan konvensional tatap muka konferensi sebagai alat komunikasi. Interaksi di antara ahli panel yang dikendalikan oleh panel direktur atau memantau menyiangi bahan yang tidak terkait dengan tujuan grup (Martino, 1978). Biasa masalah itu adalah dinamika kelompok bypassed sepenuhnya. Fowles (1978) menjelaskan sepuluh langkah-langkah berikut untuk Delphi metode:
1. Pembentukan sebuah tim untuk melakukan dan memantau Delphi yang diberikan pada subjek.
2. Pemilihan satu atau lebih panel untuk berpartisipasi dalam latihan. Customarily, ahli-ahli panel yang merupakan ahli di daerah yang akan melakukan penyelidikan.
3. Pengembangan tahap pertama Delphi kuesioner
4. Pengujian kuesioner yang tepat untuk kalimat (misalnya, ambiguities, ketidakjelasan)
5. Pengiriman pertama kuesioner kepada ahli-ahli panel
6. Analisa putaran pertama tanggapan
7. Persiapan putaran kedua kuesioner (dan mungkin pengujian)
8. Pengiriman putaran kedua kuesioner kepada ahli-ahli panel
9. Analisa putaran kedua tanggapan (Langkah 7-9 yang ditegaskan selama dikehendaki atau diperlukan untuk mencapai stabilitas dalam hasil.)
10. Penyusunan laporan oleh tim analisis untuk menyampaikan kesimpulan dari latihan
Delbecq dkk., (1975) menyatakan bahwa masalah paling penting dalam proses ini adalah pemahaman tujuan dari latihan Delphi oleh semua peserta. Jika tidak, ahli-ahli panel yang tidak menjawab Mei atau menjadi frustrasi dan kehilangan minat. Responden untuk kuesioner harus baik informasi yang sesuai di daerah (Hanson dan Ramani, 1988) tetapi literatur (Armstrong, 1978; Welty, 1972) menunjukkan bahwa tinggi tingkat keahlian tidak diperlukan. Minimum jumlah peserta untuk memastikan kinerja yang baik grup agak sedikit tergantung pada studi desain. Percobaan oleh Brockhoff (1975) mengemukakan bahwa dalam keadaan ideal, sebagai kelompok kecil sebagai empat dapat melakukan dengan baik.
Sebelum memutuskan apakah atau tidak Delphi metode yang harus digunakan, sangat penting untuk mempertimbangkan dengan teliti dalam konteks metode yang diterapkan (Delbecq dkk. 1975). Sejumlah pertanyaan harus ditanyakan sebelum membuat keputusan memilih atau penetapan yang Delphi teknik (Adler dan Ziglio, 1996):
• Jenis grup proses komunikasi sangat dianjurkan untuk mengeksplorasi masalah di tangan?
• Siapa saja orang dengan keahlian pada masalah dan di mana mereka berada?
• Apakah teknik alternatif yang tersedia dan apa yang patut hasil dapat diharapkan dari mereka aplikasi?
Hanya ketika di atas pertanyaan akan dijawab satu dapat memutuskan apakah metode Delphi adalah sesuai dengan konteks di mana ia akan diterapkan. Adler dan Ziglio (1996) lebih lanjut menyatakan bahwa kegagalan ke alamat di atas pertanyaan dapat menyebabkan tidak patut untuk aplikasi Delphi dan mendiskreditkan seluruh upaya kreatif.
Hasil dari Delphi urutan tidak lain hanyalah pendapat. Hasil urutan sebagai hanya berlaku pada pendapat para pakar yang dibuat atas panel (Martino, 1978). Panel sudut pandang adalah daripada statistik diringkas dalam hal suara mayoritas.
Delphi metode yang telah mendapat kritikan serta dukungan. Yang paling lengkap kritik dari Delphi metode dibuat oleh Sackman (1974) yang mengkritik metode sebagai tdk ilmiah dan Armstrong (1978) yang telah menulis kritis dari akurasi. Martino (1978) menekankan fakta bahwa Delphi adalah metode terakhir Resor dalam menangani masalah sangat kompleks yang ada tidak memadai model. Helmer (1977) menyatakan bahwa kadang-kadang bergantung pada pertimbangan intuitif tidak hanya sementara bijaksana tetapi sebenarnya persyaratan yang wajib. Makridakis dan Wheelright (1978) merangkum umum keluhan terhadap metode Delphi dalam hal (a) rendahnya kemapanan penilaian antara ahli dan karena itu ketergantungan pada khususnya prakiraan hakim dipilih, (b) sensitivitas dari hasil ke dalam arti dua kuesioner yang digunakan untuk pengumpulan data dalam setiap satu putaran; dan (c) kesulitan dalam menilai tingkat keahlian dimasukkan ke dalam ramalan. Martino (1978) daftar utama keprihatinan tentang Delphi metode:
• Diskon masa depan: Masa Depan (dan terakhir) ihwal tidak begitu penting saat ini, yang salah satu mungkin memiliki kecenderungan untuk masa depan acara diskon.
• Menyederhanakan menyeru: Para ahli cenderung untuk menilai masa depan acara di isolasi dari perkembangan lainnya. A holistik melihat masa depan acara-acara dimana telah mengubah yg dpt mempengaruhi tidak dapat terlihat dengan mudah. Pada titik ini lintas-analisis adalah dampak dari beberapa membantu.
• Pura-pura keahlian: beberapa ahli yang mungkin forecasters miskin. Expert cenderung menjadi spesialis dan pandangan yang akurat sehingga dalam pengaturan yang tidak satu yang paling sesuai.
• Sloppy pelaksanaan: ada banyak cara untuk melakukan pekerjaan miskin. Pelaksanaan tugas Delphi proses Mei gembur perhatian yang diperlukan dengan mudah.
• Format bias: harus diakui bahwa format kuesioner mungkin tidak cocok untuk beberapa potensi masyarakat peserta.
• Manipulasi Delphi: tanggapan yang dapat diubah oleh Pemantau di harapan bergerak ke depan sepanjang tanggapan dalam arah yang dikehendaki.
Goldschmidt (1975) setuju bahwa ada banyak proyek Delphi buruk dilakukan. Namun, dia mengingatkan bahwa itu adalah sebuah kesalahan mendasar untuk menyamakan aplikasi dari Delphi metode dengan metode Delphi itu sendiri, karena terlalu banyak kritik lakukan. Ada, dalam kenyataannya, yang penting konseptual antara evaluasi teknik dan mengevaluasi aplikasi dari suatu teknik.
Di sisi lain ada beberapa studi (Ament, 1970; Wissema, 1982; Helmer, 1983) mendukung metode Delphi. Sebuah studi yang dilakukan oleh Milkovich dkk. (1972) melaporkan penggunaan metode Delphi tenaga kerja dalam perencanaan. Hasil perbandingan tinggi ditandai kesepakatan antara Delphi dan memperkirakan jumlah yang sebenarnya kurang disewa dan kesepakatan antara kuantitatif dan prakiraan nomor disewa. Studi lainnya oleh Basu dan Schroeder (1977) melaporkan hasil serupa dalam perencanaan masalah umum. Mereka Delphi dibandingkan perkiraan penjualan lima tahun dengan baik googling, prakiraan subyektif dan kuantitatif prakiraan yang digunakan analisis regresi eksponensial dan memperlancar. Delphi perencanaan yang terdiri dari tiga putaran menggunakan kunci 23 organisasi anggota. Bila dibandingkan terhadap penjualan sebenarnya untuk dua tahun pertama, kesalahan 3-4% dilaporkan untuk Delphi, 10-15% untuk metode kuantitatif, dan sekitar 20% yang sebelumnya digunakan untuk googling, prakiraan subyektif.
Secara umum, metode Delphi adalah berguna dalam menjawab satu, spesifik, satu-dimensi pertanyaan. Ada kurang mendukung untuk penggunaannya untuk menentukan kompleks prakiraan tentang beberapa faktor. Kompleks seperti model bangunan yang lebih tepat untuk model kuantitatif dengan Delphi hasil sebelumnya menjabat sebagai masukan (Gatewood dan Gatewood, 1983). Jalur ini didukung oleh Gordon dan Hayward (1968) yang menyatakan bahwa metode Delphi, berdasarkan pertimbangan koleksi ahli, menderita dari kemungkinan bahwa reaksi antara forecasted item mungkin tidak sepenuhnya dianggap. Kebutuhan untuk lintas dampak dari metode matriks perencanaan terpadu dengan metode Delphi adalah menunjukkan oleh banyak peneliti (Gordon dan Hayward, 1968; Gatewood dan Gatewood, 1983; Adler dan Ziglio, 1996). Peningkatan kehandalan melalui ramalan Delphi metode diajar untuk attainable dengan mempertimbangkan kemungkinan terjadinya satu aktivitas dapat menyebabkan peningkatan atau penurunan kemungkinan terjadinya peristiwa lain termasuk dalam survei (Helmer, 1978). Oleh karena itu dampak palang analisis telah dikembangkan sebagai perpanjangan Delphi teknik.