Jonathan Adams ใช้การวัดผลทางวิชาการและการใช้ในทางที่ผิด
นอกเหนือจากบรรณานุกรม:สล็อตแตกง่าย การควบคุมตัวชี้วัดหลายมิติของผลกระทบทางวิชาการ Eds Blaise Cronin และ Cassidy R. Sugimoto สำนักพิมพ์เอ็มไอที: 2014.
9780262525510
บรรณานุกรมมีปัญหา อันที่จริง สาขาวิชาซึ่งติดตามผลกระทบทางวิชาการในทุกสิ่งตั้งแต่เอกสารในวารสารไปจนถึงการอ้างอิง ชุดข้อมูล และทวีต มีปัญหามากมาย ตัวชี้วัดต้องการการตีความที่ดีขึ้น เครื่องมือถูกนำไปใช้ในทางที่ผิดอย่างกว้างขวาง ความเกี่ยวข้องมักถูกตั้งคำถาม และการวิเคราะห์ขาดความตรงต่อเวลา ผู้เชี่ยวชาญที่มีส่วนร่วมในBeyond Bibliometricsเรียบเรียงโดยนักวิทยาศาสตร์สารสนเทศ Blaise Cronin และ Cassidy Sugimoto ซ้อมประวัติศาสตร์ของสนามและทฤษฎีเบื้องหลังปัญหาเหล่านั้น วิจารณ์ทั้งแนวปฏิบัติที่ดีและไม่ดี และกำหนดแนวคิดเกี่ยวกับตัวบ่งชี้ใหม่ รวมถึงจากแหล่งข้อมูล ‘altmetric’ ที่เป็นนวัตกรรมใหม่ ผลที่ได้คือเหตุการณ์สำคัญสำหรับภาคสนามและเป็นข้อมูลอ้างอิงสำหรับผู้ปฏิบัติงาน แต่หนังสือพลาดเคล็ดลับ จะไม่ไปถึงผู้ที่ไม่ใช่ผู้เชี่ยวชาญ เช่น ผู้ตรวจสอบ คณะกรรมการว่าจ้าง และคณะกรรมการทุน ซึ่งใช้และมักใช้บรรณานุกรมในทางที่ผิดในการตัดสินใจ
แผนภูมิรูปแบบการอ้างอิงจากซ้ายไปขวา การเกิดขึ้นของประสาทวิทยาเป็นวินัยที่แตกต่างจากเซลล์และอณูชีววิทยาและประสาทวิทยา เครดิต: การสร้างภาพ: Moritz Stefaner กับ Martin Rosvall, Jevin West และ Carl Bergstrom (Bergstrom Lab, Univ. Washington)
บรรณานุกรมพัฒนาขึ้นในช่วงหลังปี 1945 เฟื่องฟูในด้านการวิจัย การขยายการเผยแพร่ และการพัฒนาฐานข้อมูลอิเล็กทรอนิกส์ที่มีโครงสร้าง มันเข้าสู่ตลาดการวิจัยเมื่อ 50 ปีที่แล้วด้วยดัชนีการอ้างอิงวิทยาศาสตร์ของยูจีน การ์ฟิลด์ ซึ่งเปิดตัวในปี 2507 และภายในไม่กี่ปีก็ได้รับการรับรองโดยมูลนิธิวิทยาศาสตร์แห่งชาติสหรัฐ แต่ในยุโรป โดยเฉพาะอย่างยิ่งในเนเธอร์แลนด์และฮังการีในทศวรรษ 1980 การวิเคราะห์การอ้างอิงนั้นพัฒนาเป็นข้อมูลการจัดการการวิจัย ตั้งแต่กลางทศวรรษ 1990 จากการวิเคราะห์กระบวนการประเมินการวิจัยของสหราชอาณาจักร บรรณานุกรมเริ่มเข้าสู่การกำหนดนโยบายเพื่อเป็นแนวทางในการวัดผลสถาบันและนักวิจัย ศักยภาพทางการค้าทำให้เอลส์เวียร์สร้างฐานข้อมูลบรรณานุกรมสโกปัส
บรรณานุกรมมีผลที่น่าสนใจมากมาย ตัวอย่างเช่น ได้เปิดเผยความเร็วของการเติบโตของจีนและการกระจายความมั่งคั่งทางวิทยาศาสตร์อย่างแท้จริงระหว่างประเทศและภายในประเทศ ช่วยให้นโยบายการวิจัยและการจัดการอยู่บนพื้นฐานหลักฐานที่อาจท้าทายสมมติฐานและอคติของนักวิทยาศาสตร์ที่เป็นที่ยอมรับ: ประเทศส่วนใหญ่มีแกนกลางแห่งความเป็นเลิศที่เล็กกว่าที่หลาย ๆ คนเชื่อ และสถาบันขนาดเล็กที่คล่องตัวได้รับการพิสูจน์แล้ว เก่งด้านการวิจัยควบคู่ไปกับศูนย์ที่เก่ากว่าและใหญ่กว่า สืบเนื่องมาจากความต้องการขั้นพื้นฐานของผู้วิจัยในการค้นหาวรรณกรรมที่เกี่ยวข้องกับงานของพวกเขามากที่สุด ประวัติศาสตร์นี้ได้รับการตรวจสอบอย่างดีโดย Nicola de Bellis ซึ่งเตือนเราว่า ตัวอย่างเช่น เป็นทฤษฎีบรรณานุกรม ส่วนหนึ่งมาจากการ์ฟิลด์ และจากฟรานซิส นรินและชัดเจน Gabriel Pinski — ที่นำไปสู่ Google
เนื่องจากการวิเคราะห์เชิงลึกทางประวัติศาสตร์นั้น
การจัดการวิธีการและเครื่องมือของหนังสือจึงเป็นมากกว่าแค่ตัวเลข ตัวอย่างเช่น Jevin West และ Daril Vilhena หารือเกี่ยวกับแนวความคิดเกี่ยวกับเครือข่ายการวิจัย เช่น eigenvector ซึ่งแสดงให้เห็นว่าเขตข้อมูลพึ่งพากันและกันอย่างไร การแสดงภาพความเกี่ยวข้องของสาขาวิชาการวิจัยอย่างครอบคลุมของ Loet Leydesdorff เผยให้เห็นว่าการเปลี่ยนแปลงในระดับความสำเร็จอาจขึ้นอยู่กับความแตกต่างของสหวิทยาการในทีมและโครงสร้างสถาบัน Michael Kurtz และ Edwin Henneken ให้การวิเคราะห์โดยละเอียดเกี่ยวกับ ‘ระบบผู้แนะนำ’ ที่นักดาราศาสตร์ฟิสิกส์ใช้เพื่อค้นหาเอกสารสำคัญ
ปัญหาใหญ่ชุดหนึ่งในสาขานี้เกี่ยวข้องกับการใช้งานโดยประมาท เดอะh-index ซึ่งรวบรวมการกระจายของการอ้างอิงของนักวิทยาศาสตร์ มีข้อบกพร่องโดยกำเนิดเพราะไม่ตอบสนองต่อภาคสนามหรือระยะอาชีพ แต่ความเรียบง่ายอาจนำไปสู่ดัชนีอนุพันธ์มากมาย ปัจจัยกระทบบอกเราเกี่ยวกับวารสาร ไม่ใช่สิ่งพิมพ์ส่วนบุคคล แต่ผู้จัดการการวิจัยใช้วารสารเหล่านี้ในการเลือกพนักงาน วิศวกรเผยแพร่การดำเนินการประชุม แต่ส่งเฉพาะเอกสารทางวารสารเพื่อการประเมิน นักคณิตศาสตร์ตีพิมพ์ไม่บ่อยนักและกล่าวถึงอดีตอย่างลึกซึ้ง นักชีววิทยาระดับโมเลกุลค่อนข้างตรงกันข้าม นักเศรษฐศาสตร์และนักฟิสิกส์อนุภาคมีบรรทัดฐานในการมอบหมายงานที่แตกต่างกันโดยสิ้นเชิง ผู้ใช้บรรณานุกรมเพียงไม่กี่คนชื่นชมความหมายของความแตกต่างเหล่านี้ แต่หลายคนคิดว่าพวกเขาสามารถอ่านตัวเลขหรือชักชวนให้ผู้อื่นอ่านในแบบของพวกเขา
ปัจจุบันบรรณานุกรมสนับสนุนนโยบายการวิจัยและการจัดการ และเป็นส่วนหนึ่งของการประเมินโครงการสำหรับคณะกรรมาธิการยุโรปและหน่วยงานระดับชาติรวมถึงสภาวิจัยแห่งสหราชอาณาจักร แต่โครนินและซูกิโมโตะขอเตือนว่า แม้หลังจากใช้งานมาหลายสิบปี เราเข้าใจจริง ๆ หรือไม่ว่าข้อมูลอ้างอิงคืออะไรและเราทำอะไรกับข้อมูลเหล่านี้ ผู้ที่ใช้บรรณานุกรมมีเกณฑ์ที่ชัดเจนสำหรับวิธีการใช้และตีความหรือไม่? หากใช้เครื่องมือที่มีอิทธิพลต่อการวิจัยจำนวนมากอย่างไม่ระมัดระวัง อาร์กิวเมนต์เหล่านี้จะต้องเข้าถึงได้สำหรับผู้ชมในวงกว้าง
ปัญหาชุดที่สองเกิดจากข้อจำกัดในการใช้งาน Julia Lane, Mark Largent และ Rebecca Rosen เตือนเราว่านายทุนทางการเมืองและผู้จัดการการวิจัยต้องการตัวบ่งชี้ที่ทันท่วงที เพื่อให้พวกเขาสามารถมีอิทธิพลต่อสิ่งที่เกิดขึ้นมากกว่าที่จะไตร่ตรองถึงสิ่งที่เกิดขึ้น แต่ข้อมูลอ้างอิงเกี่ยวข้องกับงานที่ได้รับทุนสนับสนุนเมื่อหลายปีก่อน ดังนั้น ในเล่มที่ 3 เล่มสุดท้าย หนังสือเล่มนี้จึง “เหนือกว่าบรรณานุกรม” ไปสู่ตัวชี้วัดทางเลือกที่อาจแก้ไขปัญหาเหล่านี้ ส่วนหนึ่งมาจากโซเชียลมีเดียเช่น Twitter และบล็อก (ที่ Jason Priem อภิปราย) และส่วนหนึ่งมาจากธุรกิจการวิจัย รวมถึงข้อมูล การดาวน์โหลด (Kayvan Kousha, Mike Thelwall และ Stefanie Haustein) และตัวชี้วัดการยกย่อง (เช่น ลำดับวงศ์ตระกูลทางวิชาการ ที่ Sugimoto อภิปราย) ในขณะที่การวิเคราะห์การอ้างอิงสร้างขึ้นจากการทำงานหลายสิบปี เรามีโซเชียลมีเดียน้อยกว่าสิบปีให้วิเคราะห์ จึงมีความตึงเครียด: หากนักวิจารณ์ที่รอบคอบไม่กล้าตอบคำถาม ผู้เชี่ยวชาญก็รีบเร่งเพื่อตอบสนองผู้มีส่วนได้ส่วนเสียในนโยบาย หากเราทำการวิเคราะห์ที่สร้างขึ้นบนทรายเคลื่อนตัว และสัญญามากเกินไป เราอาจบ่อนทำลายสิ่งที่อาจให้ข้อมูลมากด้วยความระมัดระวัง
ด้วยความระมัดระวังและระมัดระวัง การตัดสินใจเกี่ยวกับทิศทางในอนาคต เงินทุน และการจัดหาบุคลากรด้านวิทยาศาสตร์จะได้รับข้อมูลที่ดีขึ้นจากแนวทางและการพัฒนาที่กล่าวถึงในBeyond Bibliometrics สิ่งที่เราต้องการในตอนนี้จากกลุ่มผู้เชี่ยวชาญของหนังสือเล่มนี้คือการเล่าเรื่องเกี่ยวกับการทำงานที่เข้าถึงได้เพื่อชี้แนะพวกเราที่เหลือในงานประจำวันสล็อตแตกง่าย
