距离开幕还有半年之际，东京奥运会再生变故。因公开发表歧视女性言论，83岁的森喜朗迫于压力于12日宣布，从即日起辞去东京奥组委、东京残奥组委主席职务。
2014年，森喜朗被时任日本首相安倍晋三任命为东京奥运会和残奥会组委会主席。此次，森西朗被迫辞职，是因为他在公开场合发表了歧视女性的言论。在2月3日进行的日本奥委会临时评议员会上，森喜朗表示：在有很多女性的理事会里，会议要花很长时间。女性有强烈的竞争意识，假如一个人举手发言，其他人可能会想自己也必须要说些什么，这样每个人都会发言。他还表示，若参会女性增加，需要在一定程度上控制发言时间，否则就很难结束。
森喜朗的这一言论被认为涉嫌歧视女性，当即就有批评的声音要求他辞职。事件发生一天后，森喜朗就在记者会上道歉并表示撤回该言论。日本首相菅义伟也表示，森喜朗的这番言论“不该发生”。对于要求森喜朗辞职的声音，菅义伟表示“奥运应在诸多理解和欢迎之下举办”。
2月9日，390名志愿者表示将退出东京奥运会的服务队伍，还有两名火炬手放弃了参加火炬接力的机会。东京奥组委的问询中心收到大量质疑电话和相关邮件。同时，国际奥委会发表声明，指责森喜朗的不当言论，“东京奥组委主席最近的言论是绝对不合适的，也与国际奥委会的承诺以及《奥林匹克2020议程》中的改革方案相悖”。
东京奥组委在2月10日发表声明称，森喜朗已就歧视女性的言论表示了“最深刻的道歉和悔恨”。奥组委12日召开特别会议，所有高管对他的言论进行内部讨论。日本三个在野党达成一致，敦促菅义伟首相要求森喜朗辞去东京奥组委主席一职。森喜朗在奥组委召开的特别会议上宣布了辞职的声明，他说：“我的不当言论造成了很大的混乱局面，我希望从今天起辞去主席职务。”
此前据日本媒体报道，84岁的日本足坛名宿川渊三郎最有可能接替森喜朗担任奥组委主席职务，川渊三郎本人在接受采访时也同意就任。但反对者表示，川渊三郎是森喜朗一手指定的继任者，并且再次让一位高龄者担任奥组委主席，显然是闭门操作。有报道说，迫于压力的川渊三郎已经否认了接任的可能性。
按照东京奥组委的计划，奥运会测试赛将在3月4日重启，奥运会火炬接力也将在3月底开始。川渊三郎此前曾表示，如果正式当选主席，将尽其所能让东京奥运会成功举办。
