وقتی راوی سبب را جویا می‌شود امام می‌گوید: «اگر با وی رفت‌وآمد کنم، مردم آنچه را دیباج بر من بربسته و نشر داده است، باور می‌کنند».^۱

از برخی روایات دیگر برمی‌آید که این اعلام برائت و دوری امام از عمویش، مربوط به پیش از شورش دیباج و نتیجهٔ اختلافات خانوادگی بین برادران بوده است. برای نمونه محمد دیباج به برادرش امام کاظم علیه السلام (۱۸۳ق) رشک می‌برده و حتی گاهی از برادرش نزد بزرگان اهل سنت یا خلیفهٔ عباسی سخن‌چینی می‌کرده است. یک بار که امام کاظم علیه السلام نکاتی دربارهٔ لباس احرام به فضل بن ربیع گوشزد کرده بود، محمد آن مسئلهٔ فقهی را به سفیان بن عیینه (۱۹۸ق) خبر داده و گفته بود: «او با این سخنان به پدرم افترا می‌بندد».^۲ در خبری دیگر آمده است که محمد دیباج بر هارون الرشید (۱۹۳ق) وارد شد و او را با عنوان خلیفه درود داد و گفت: «گمان نمی‌کردم بر زمین دو خلیفه باشد تا اینکه برادرم موسی بن جعفر را دیدم که همانند خلیفه به او سلام می‌دهند».^۳ در انتهای این خبر آمده است که یعقوب بن داوود (۱۸۷ ق)، که بر باور زیدیان بود، از دیگر کسانی بود که از موسی بن جعفر علیه السلام بدگویی می‌کرد. یعقوب بن داوود وزیر و کاتب مهدی عباسی و نیز هوادار علویان و قیام‌های زیدیان، به‌ویژه ابراهیم بن عبداللّٰه (برادر نفس زکیه)، بوده است.^۴ به نظر می‌رسد این سخن بدان سبب بیان شده که محمد دیباج و یعقوب بن داوود در باور و عملکرد همانند بوده‌اند؛ یعنی هر دو به قیام مسلحانه اعتقاد داشتند و در بدگویی و دوری از موسی بن جعفر همراه بودند.

در سنخ دیگری از اخبار امامیه آمده است که دیباج به فضل و دانش پسر برادرش (علی بن موسی الرضا علیه السلام) در حضور مأمون اعتراف کرده^۵ و مأمون نیز پس از درگذشت امام رضا علیه السلام مسئولیت خبردهی به علویان و آرام کردن آنها را به او واگذاشته

بنابر منابع تاریخی و رجالی اهل سنت، سوء مدیریت محمد بن جعفر و فساد اخلاقی اطرافیان او در همان مدت کوتاه مردم مکه را از وی بیزار و گریزان کرد. ابن‌افطس به زنی شوهردار، و پسر دیباج، علی، به پسربچه‌ای دست درازی کردند و موجب شورش مردم مکه بر خلیفهٔ جدید شدند.^۱

از سوی دیگر لشکر مأمون به سرکردگی عیسی جلودی مکه را محاصره کرد و باآنکه علویان و دویست تن از جارودیان زیدی‌مذهب، که همگی لباس‌های پشمین سفید پوشیده بودند، همگام با دیباج جنگیدند، سرانجام شکست خوردند. دیباج مجبور شد اظهار پشیمانی کند و خطبهٔ خلافت و بیعت خود را در همان مسجد مکه پس بگیرد. به دستور مأمون سپاهیان دیباج را تا بغداد، و از آنجا تا خراسان همراهی کردند؛ گویا وی به نوعی تبعید اجباری محکوم شد.^۲ از برخی گزارش‌های تاریخی برمی‌آید که در سال ۲۰۰ق امام رضا علیه السلام نیز در همین سفر با وی همراه بوده و به نیشابور وارد شده است.^۳

گفتنی است امام رضا علیه السلام با بسیاری از مواضع عمویش دیباج مخالف بوده است. پس از شورش دیباج، خلیفهٔ عباسی امام رضا علیه السلام را واسطهٔ صلح با وی کرد که دیباج نپذیرفت.^۴ از سوی دیگر منابع امامی در روایتی دیگر از اسحاق بن موسی علیه السلام نقل کرده‌اند پس از آنکه دیباج خود را خلیفه خواند و از مردم بیعت گرفت، امام رضا علیه السلام نزد او رفت و به او فرمود: «ای عمو! پدر و برادرت را تکذیب نکن که این امر سرانجامی ندارد».^۵ احتمالاً مراد امام این بوده است که دیباج با خلیفه خواندن خود، امامت امام کاظم علیه السلام و امام صادق علیه السلام را نفی کرده است. در روایتی دیگر از امام رضا علیه السلام نقل کرده‌اند: «با خودم قرار گذاشتم که با او زیر سقف یک خانه‌ نباشم».