คณะรัฐมนตรีได้มีมติเมื่อวันที่ 20 สิงหาคม 2534 อนุมัติให้กระทรวงเกษตรและสหกรณ์จัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดโดยให้มีการทดลองจัดตั้งใน 4 จังหวัด ที่มีสำนักงานเกษตรภาคตั้งอยู่ก่อน คือ จังหวัดเชียงใหม่ จังหวัดขอนแก่น จังหวัดชัยนาท และจังหวัดสงขลา ต่อมาในปี 2537 กระทรวงเกษตรและสหกรณ์ร่วมกับสำนักงานคณะกรรมการข้าราชการพลเรือน (ก.พ.) ได้ทำการประเมินผลการปฏิบัติงานของสำนักงานเกษตรและสหกรณ์จังหวัดทั้ง 4 แห่ง ผลการปฏิบัติงานอยู่ในระดับที่น่าพอใจ คณะรัฐมนตรีจึงได้มีมติ เมื่อวันที่ 13 กันยายน 2537 เห็นชอบให้กระทรวงเกษตรและสหกรณ์ จัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดเป็นการถาวรได้ โดยให้รวมงานด้านการปฏิบัติการของหน่วยงานในสังกัดจังหวัดเข้ามาอยู่ภายใต้การกำกับดูแลของสำนักงานเกษตรและสหกรณ์จังหวัดภายใน 3 ปี
ระยะจัดตั้งอย่างเป็นทางการ กระทรวงเกษตรและสหกรณ์ได้มีคำสั่งคณะทำงานประเมินผลการปฏิบัติงานของสำนักงานเกษตรและสหกรณ์จังหวัด ซึ่งได้ดำเนินการประเมินผลการปฏิบัติงานทั้ง 4 จังหวัด ผลการปฏิบัติงานเป็นที่น่าพอใจ กระทรวงเกษตรฯ จึงได้นำเรื่องขออนุมัติคณะรัฐมนตรีขอตั้งเป็นทางการต่อไป และได้รับการจัดตั้งเป็นทางการเมื่อวันที่ 8 กุมภาพันธ์ 2538 ตามพระราชกฤษฎีกาแบ่งส่วนราชการสำนักงานปลัดกระทรวงเกษตรและสหกรณ์ พ.ศ.2538 โดยกระทรวงฯ ได้จัดตั้งครั้งแรก 8 จังหวัด คือ จังหวัดเชียงใหม่ ขอนแก่นชัยนาท สงขลา ลำปาง กาฬสินธุ์ เพชรบุรี และสุราษฎร์ธานี ตามคำสั่งสำนักงานปลัดกระทรวงเกษตรและสหกรณ์ ที่ 154/2538 ลงวันที่ 21 กุมภาพันธ์ 2538 และได้จัดตั้งเพิ่มเติมอีก 12 จังหวัด ในปีงบประมาณ 2538 คือ จังหวัดเชียงราย อุดรธานี มหาสารคาม นครสวรรค์ สุพรรณบุรี สิงห์บุรี ลำพูน พะเยา อ่างทอง ร้อยเอ็ด หนองบัวลำภู และพัทลุง ตามคำสั่งสำนักงานปลัดกระทรวงเกษตรและสหกรณ์ ที่ 586/2538 ลงวันที่ 31 สิงหาคม 2538 ต่อมาในปี 2539 ได้จัดตั้งเพิ่มเติมอีก 30 จังหวัด และจังหวัดที่เหลือได้จัดตั้งแล้วเสร็จในปี 2540 รวมถึงจังหวัดจันทบุรีด้วย ดังนั้นตั้งแต่ปีงบประมาณ 2540 เป็นต้นมา ได้มีการจัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดขึ้นครบทุกจังหวัดทั่วประเทศ
ปัจจุบันสำนักงานเกษตรและสหกรณ์จังหวัดมุกดาหาร ตั้งอยู่ที่ ศาลากลางจังหวัดมุกดาหาร ชั้น 5 (อาคาร 2) ถ.วิวิธสุรการ ต.มุกดาหาร อ.เมือง จ.มุกดาหาร 49000