Awalnya, Olimpiade hanya berlangsung di Yunani kuno sampai akhirnya pada tahun 393 M Olimpiade kuno ini dihentikan oleh Kaisar Romawi, Theodosius. Olimpiade musim panas ke-1 adalah Olimpiade modern pertama, setelah Olimpiade Kuno dibatalkan oleh Kaisar Romawi Theodosius pada 393 M. Pada sebuah kongres pada tahun 1894 yang diselenggarakan oleh Pierre de Coubertin di Paris, Komite Olimpiade Internasional (IOC) didirikan, dan ibukota Yunani Athena dipilih sebagai tuan rumah Olimpiade modern pertama. Olimpiade Musim Panas Modern Pertama diresmikan oleh George I dari Yunani dibuka tanggal 6 April 1896. Jumlah negara peserta 131 negara dan Jumlah atlet 245 atlet. Sedangkan Jumlah pertandingan 43 dalam 9 cabang. Penutupan tanggal 15 April 1896.
Yunani tidak berpengalaman dalam menyelenggarakan even olahraga, dan awalnya juga mempunyai masalah keuangan, namun akhirnya berhasil mempersiapkan segalanya tepat waktu. Olimpiade pertama ini dibuka tanggal 6 April 1896. Meski jumlah atlet terbilang kecil menurut ukuran saat ini, ia merupakan keikut sertaan internasional terbesar untuk ajang olahraga pada masanya. Olimpiade tersebut pun terbukti sukses kepada rakyat Yunani. Setelah Olimpiade tersebut, de Coubertin dan IOC dipetisikan oleh - di antaranya - raja Yunani dan beberapa peserta Amerika di Athena untuk menunda Olimpiade berikutnya. Meski begitu, Olimpiade Paris 1900 sudah lebih dahulu direncanakan dan, kecuali Olimpiade musim panas tahun 1906, Olimpiade tidak kembali ke Yunani hingga Olimpiade Athena 2004.
Komite Olimpiade Internasional (bahasa Inggris: International Olympic Committee/IOC) adalah sebuah organisasi yang berbasis di Lausanne, Swiss, yang didirikan oleh Pierre de Coubertin pada 1894 untuk mengadakan kembali Olimpiade Kuno yang diadakan di Yunani, dan melangsungkan ajang olahraga ini setiap empat tahunnya. IOC menerima dana pengoperasiannya melalui periklanan dan memorabilia Olimpiadenya, serta melalui penjualan hak liputan kepada media massa pada saat Olimpiade. IOC adalah organisasi puncak yang diharapkan untuk melokalisasi administrasi dan otoritas untuk Olimpiade, sekaligus menyediakan perusahaan yang memiliki hak cipta, dan kepemilikan lainnya yang terkait dengan Olimpiade. Presiden IOC bertanggung jawab untuk mewakili IOC secara keseluruhan, dan terdapat anggota IOC yang mewakili IOC di negaranya masing-masing.
Ajang olahraga pertama yang pelaksanaannya serupa dengan Olimpiade kuno adalah L'Olympiade de la République, sebuah festival olahraga nasional yang diadakan pada tahun 1796 sampai 1798 selama masa Revolusi Perancis. Dalam pelaksanaannya, ajang ini mengadopsi beberapa peraturan-peraturan yang berlaku dalam Olimpiade kuno. Ajang ini juga menandai diterapkannya sistem metrik ke dalam cabang-cabang olahraga. Pada tahun 1850 sebuah Kelas Olimpiade didirikan oleh Dr. William Penny Brookes di Much Wenlock, Shropshire, Inggris. Selanjutnya, pada tahun 1859, Dr. Brookes mengganti nama Kelas Olimpiade menjadi Olimpiade Wenlock. Ajang tersebut tetap diadakan hingga hari ini. Tanggal 15 November 1860, Dr. Brookes membentuk Perkumpulan Olimpiade Wenlock.:28.
Antara tahun 1862 dan 1867, di Liverpool diadakan ajang Grand Olympic Festival. Ajang ini dicetuskan oleh John Hulley dan Charles Melly dan merupakan ajang olahraga pertama yang bersifat internasional, meskipun atlet-atlet yang berpartisipasi kebanyakan merupakan "atlet amatir". Penyelenggaraan Olimpiade modern pertama di Athena pada tahun 1896 hampir identik dengan Olimpiade Liverpool. Pada tahun 1865, Hulley, Dr. Brookes dan EG Ravenstein mendirikan Asosiasi Olimpiade Nasional di Liverpool, yang merupakan cikal bakal terbentuknya Asosiasi Olimpiade Britania Raya. Selanjutnya, pada tahun 1866, sebuah ajang bernama Olimpiade Nasional Britania Raya diselenggarakan di London untuk pertama kalinya.
Olimpiade kemudian dihidupkan kembali oleh seorang bangsawan Perancis bernama Pierre Frèdy Baron de Coubertin pada tahun 1896. Dalam kongres pada tahun 1894 yang diselenggarakan di Paris, didirikanlah Komite Olimpiade Internasional (IOC) dan ibu kota Yunani, Athena dipilih sebagai tuan rumah Olimpiade modern pertama tahun 1896. Olimpiade pertama yang diadakan di bawah naungan IOC berlangsung di stadion Panathinaiko, Athena, pada tahun 1896. Olimpiade pertama ini diikuti oleh 14 negara dengan total 241 atlet yang berlaga dalam 43 pertandingan. Seperti janjinya pada Pemerintah Yunani, Zappas dan sepupunya, Konstantinos Zappas turut membantu membiayai penyelenggaraan Olimpiade 1896. George Averoff, seorang pengusaha Yunani bersedia untuk mendanai perenovasian stadion dalam rangka persiapan Olimpiade. Pemerintah Yunani juga turut menyediakan dana, berharap dana tersebut dapat diperoleh kembali melalui penjualan tiket dan dari penjualan set perangko peringatan Olimpiade pertama.
Sebagian besar atlet yang berpartisipasi dalam Olimpiade Athena 1896 berasal dari Yunani, Jerman, Perancis, dan Britania Raya. Negara-negara tersebut juga menguasai perolehan medali. Pada saat itu, wanita tidak boleh berpartisipasi. Penyelenggara menyebut kesertaan mereka tidak praktis, tidak menarik, dan tidak tepat. Sekitar 80.000 penonton hadir, termasuk Raja George I dari Yunani. Meskipun Yunani tidak berpengalaman dalam menyelenggarakan ajang olahraga internasional dan awalnya juga mempunyai masalah keuangan, namun akhirnya berhasil mempersiapkan segalanya tepat waktu. Jumlah atlet yang berpartisipasi juga terbilang kecil jika dibandingkan dengan ukuran saat ini, namun Olimpiade 1896 merupakan keikut sertaan internasional terbesar untuk ajang olahraga pada masanya. Olimpiade tersebut pun terbukti sukses bagi rakyat Yunani.
Selanjutnya, sejak tahun 1896 sampai sekarang, setiap empat tahun sekali Olimpiade Musim Panas senantiasa diadakan kecuali tahun-tahun pada masa Perang Dunia II. Edisi khusus untuk olahraga musim dingin; Olimpiade Musim Dingin, mulai diadakan pada tahun 1924. Awalnya Olimpiade Musim Dingin diadakan pada tahun yang sama dengan Olimpiade Musim Panas, namun sejak tahun 1994 Olimpiade Musim Dingin diadakan setiap empat tahun sekali, dengan selang waktu dua tahun dari penyelenggaraan Olimpiade Musim Panas. Evolusi yang dilakukan oleh IOC selama abad ke-20 dan 21 telah menyebabkan beberapa perubahan pada penyelenggaraan Olimpiade.
Beberapa penyesuaian dilakukan, termasuk penciptaan Olimpiade Musim Dingin untuk olahraga es dan salju, Paralimpiade untuk atlet dengan kekurangan fisik dan Olimpiade Remaja untuk para atlet remaja. Dalam perkembangannya, Olimpiade telah menghadapi berbagai tantangan, seperti pemboikotan, penggunaan obat-obatan, penyuapan dan terorisme. Olimpiade juga merupakan kesempatan besar bagi kota dan negara tuan rumah untuk menampilkan diri kepada dunia. Di Indonesia, Olimpiade yang sering dikenal dan secara rutin diikuti adalah Olimpiade Musim Panas. Indonesia sendiri pertama kali berpartisipasi pada Olimpiade Helsinki 1952 di Finlandia, dan tak pernah absen berpartisipasi pada tahun-tahun berikutnya, kecuali pada tahun 1964 dan 1980.
