門脇 敦司/ Atsushi
@at_sushi_
Followers
1,640
Following
357
Media
1,397
Statuses
3,328
Knowledge Sense, Inc. CEO ← 東大 / エンタープライズ向け生成AIプロダクトで成長中のスタートアップ（2019年~） / ソフトウェアエンジニアを募集中（800万円~+SO）→DM開放中 / 好きな言葉は「実験と学習」/ 最新の生成AI 事情に少し詳しいです / ソフトウェアエンジニア
Langton's ant
Joined March 2016
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Venezuela
• 1203862 Tweets
Marvel
• 183727 Tweets
#SDCC
• 173412 Tweets
#BINIatKCONLA2024
• 165626 Tweets
Doom
• 135535 Tweets
Robert Downey Jr
• 99017 Tweets
ワンフェス
• 87594 Tweets
#บวงสรวงJACKANDJOKER
• 66872 Tweets
#UFC304
• 63108 Tweets
Gallardo
• 55920 Tweets
Cruzeiro
• 54022 Tweets
Vitória
• 53238 Tweets
Apollo
• 48620 Tweets
Botafogo
• 38938 Tweets
Russo
• 37131 Tweets
Fantastic Four
• 35930 Tweets
Kang
• 32013 Tweets
Secret Wars
• 29448 Tweets
Yoro
• 22666 Tweets
#ニノさん
• 22152 Tweets
Fortaleza
• 17335 Tweets
Cássio
• 16869 Tweets
Kevin Feige
• 16811 Tweets
First Steps
• 15964 Tweets
設営完了
• 15457 Tweets
jota
• 13895 Tweets
Mokaev
• 13708 Tweets
Nwaneri
• 13542 Tweets
Kape
• 12581 Tweets
Hojlund
• 11185 Tweets
Onana
• 11184 Tweets
ディケイド
• 11026 Tweets
Martinelli
• 10299 Tweets
Pinned Tweet
1/ GitHub 元CTO「マイクロサービスにしたことがアーキテクチャ上の最大のミスだった」
（※少しマニアックな内容ですが、個人的には面白いと感じたので載せます→）
I'm convinced that one of the biggest architectural mistakes of the past decade was going full microservice
On a spectrum of monolith to microservices, I suggest the following:
Monolith > apps > services > microservices
So, some thoughts
221
1K
7K
3
463
2K
iOS 16.4 から、WebアプリでもiPhoneに通知を送れるようになる。
（アパレル業界など、）通知を送るためだけに作られたモバイルアプリも多い印象なので、その制作コストが無くなりそう。
1
97
801
1/ マイクロソフトの研究者が「GPT-4V」で色々な入力を試した論文
「どのような画像を読み取れるのか」「どの分野に応用できるか」など。図表が多くわかりやすいです。
かなり長い(166ページ)ですが、目次と要約を載せます。気になった部分だけでも（続く→）
4
127
715
1/ 「GitHub、10％をレイオフ。全てのオフィスを閉鎖」
このニュースに対して、
「フルリモートの方が社員を解雇しやすい。」
「5年後は、エンジニアはクラウドサーバーのように都合よく使われる存在。」
と議論が白熱しています（続く→
1
222
644
最近見かけるようになった「CRAG」という手法について軽めの記事を書きました。
0
42
346
新しいRAGの手法「Adaptive-RAG」について、記事を書きました。普通に実務でも使えます。
1
24
342
RAGの精度評価ツール「RAGAS」について書きました。
ツールは有名ですが、論文があるのは意外と知られていなさそうです。
0
44
320
LLMのハルシネーションを減らせる「Self-RAG」という手法について、軽めの記事を出しました。
0
33
315
CEO サム氏が話す、ChatGPT 開発ロードマップ
2023年
・より早く安いGPT-4
・コンテキストの増加（1Mも見えている）
・Finetuning API
・ステートフルなAPI（！）
2024年
・マルチモーダル
その他、ポジショントーク少なめで納得的でした（続く→）
3
64
311
RAGに関する新記事を出しました。HippoRAGです
0
45
303
RAGの新記事を書きました。
関連ドキュメントを1トークンに圧縮してLLMに渡す「xRAG」について
0
35
299
RAGについての記事（続編）を書きました。今回はかなりエンジニア向けの記事で、「RAGを改善する際に抑えておきたい観点」が、ある程度網羅的にまとまっている記事を目指しました。
1
35
295
RAGについての記事を出しました。今回面白い点は、ファインチューニングと同等の性能を引き出すための工夫です。まずは事前に「回答例」を大量生成しておき、ユーザーから質問が来た際には、その回答例（の一部）を参考にして、回答するというRAGの工夫です。
0
36
286
OpenAI、コードのバグを見つけるモデル「CriticGPT」を発表。なぜこれを作るか。それは、「GPTを進化させるには人間がAIに教える必要があるが、逆に言うとAIのクオリティが評価者のクオリティに左右されてしまう」という問題があるから。人間の評価の品質を底上げしてさらにコーディングが得意なGPTを
1
47
249
RAGについての記事を書きました。今回は「テクニック集」と言いながら、RAGの概要説明にとどまっています。「非エンジニアの方にRAGを説明するときに役立つ記事」を目指しました。
1
25
209
イーロン氏が社員に送ったメール
「私から明確な指示があったら、①反論するか、②意図を確認するか、③実行しろ。それ以外はクビだ。」
Elon Musk emails Tesla employees
October 4, 2021
386
2K
21K
0
56
205
OpenAIのCEOサム氏
「98%の人は、あなたに控えめになるように言ってくる。大切なのは、自分がもっと野心的になれるようにしれくれる人を周りに作ること」
1
50
196
RAGの新記事を出しました。Document Screenshot Embedding (DSE) です。
0
21
166
1/ ジョン・カーマック氏がMetaを退任するとのこと。
「我々はかなり正しいものを立ち上げたと思うが、問題は効率が悪いこと。」とメモを残したらしい。
（続き→）
1
66
147
3/ 今回の動きは、社内では「フラット化」と呼ばれていて、コードを書くか、デザインするか、リサーチするか...
とにかく「他人の面倒を見る」以外のことをするよう、要求されるようになる
1
41
144
RAGの、複雑な質問に対する回答性能を上げる「Chain-of-Abstraction (CoA) Reasoning」という手法について、記事を書きました。
0
11
145
オカルトだと思ってましたが、「gpt2-chatbot」、明らかにGPT-4より高性能ですね。
←GPT-4（誤答） gpt2-chatbot（正答）→
2
9
132
6/ AppleでEMをしているKarthik 氏も共感の声
・これは当然で、他のテック企業でも同じことが起こる。
・フラットな組織が復活するにつれ、EMは個人のコントリビュー���ーの役割に切り替わる必要が出てくる。
・人材管理だけするEMは、ゼロ金利の時代だけの存在かも。
This is not a surprising outcome, and one that we'll likely see throughout tech.
Eng Managers will need to be more hands on, or switch to IC roles as flat orgs make a comeback.
People management focused EMs may have been a zero interest rate phenomenon.
25
48
626
1
26
130
Apple、「銀行」をリリース
・預けておくと年利4.15%還元（他の銀行の10倍）
・手数料、最低残高など無し
・スマホから口座開設
・他の銀行からも入金できる
銀行業者にとってだけでなく、あらゆる金融事業者にとって脅威ですね
1
25
108
3/ まず、アーキテクチャは考え方であって、ルールではありません。
大規模な分散システムを構築したことがある人は知っていると思いますが、実際には完璧に機能するものなど無く、うまくやる必要があります。
また、ステージが重要です。5-50人の会社であれば、モノリス一択です。信じてください。
1
19
106
5/ 実際、「1,2人を監督するだけのマネージャー」や「同じ目標を掲げて競争する別チーム」が存在してしまっていたようで、社内でも変革が必要だと声も上がっていたらしい
1
20
98
15/ だから、基本的に以下を推奨します
1. できるだけ長くmonolithでいること
2. services化はインフラ側の要求があったときのみにして、アプリ側の要望では作らないこと
3. monolithから脱却する場合、大きめのappに分解すること
4. 新しいappが生まれるごとに、見えない壁ができると考えること
1
37
97
3/ は無いです。
なので、5年後には、大企業のフルリモート求人を見て『社員を大切にしている会社だな』と思うのではなく、『社員をクラウドサーバーのように、簡単にスケールアップできて、必要がなくなった瞬間に簡単にシャットダウンできる存在と捉えているんだな」と考えるようになるでしょう。
1
32
95
20/ そして、最後にもう一度。
Monolith > apps > services > microservices
スケールのための基本手法：
なるべく長く一つの大きな塊であれ。細かい過剰な修正はせず、成長に合わせ（たとえ急成長中でも）乗り越える。これは、組織と技術、両方のためです。
繰り返しですが、これは「art」です。
0
26
92
1/ ジョン・カーマック氏がMetaを退任する際の社内文章が、本人から公開されていました。
「10年続けたVR開発を、終わりにしようと思います。」
1/ ジョン・カーマック氏がMetaを退任するとのこと。
「我々はかなり正しいものを立ち上げたと思うが、問題は効率が悪いこと。」とメモを残したらしい。
（続き→）
1
66
147
1
72
87
9/ D.私の考えでは、オーダーメイドのインフラやマイクロサービスほど、技術負債になるものはありません。コードは負債ですが、サービスはもっと負債です。これを理解した上で、どうしても負債を作るなら、nice to haveではなく、最高にレバレッジが効くときにだけ、にするべきです。
1
15
75
2/ Meta の「生産性の低さ」は、辞任したカーマック氏によっても指摘されていた
1/ ジョン・カーマック氏がMetaを退任するとのこと。
「我々はかなり正しいものを立ち上げたと思うが、問題は効率が悪いこと。」とメモを残したらしい。
（続き→）
1
66
147
1
12
71
2/ 議論の発端となったのは、おそらくこの投稿↓
（あるエンジニア）「フルリモートに移行すると、レイオフ簡単になります。90年代に半導体メーカーでレイオフを経験しましたが、解雇した人を物理オフィスから追い出すには、警備など多額のコストがかかり大変でした。リモートではこのコスト（続く→
1
25
69
Uber のクルー向けアプリが変更され、自分の近くの案件を「自分から取る」ことができるようになるとのこと。事故らないか心配。
0
24
65
18/ 世界中の90%の企業は、プライマリDBに対してDBのバックアップ、キャッシュ、プロキシを実行するモノリスで済ませるられると思っています。
惑星規模にどデカい10%の企業にとっては、この問題を解決するのは「art」の領域です。
1
14
68
2/ アーキテクチャの過去10年間における最大のミスの1つとして、完全にマイクロサービス化してしまったことがあります。
モノリスからマイクロサービスのオススメ度合いでいうと以下です。
Monolith > apps > services > microservices
どういうことか説明します→
1
14
66
GPT-4oに自宅のカメラをつなぎこみ、どこにあるか忘れたものを探してもらうというデモ
Genius. A Home Assistant user hooked up GPT-4 Vision with their security cameras and now can do things like find items in their home.
112
631
6K
0
8
67
13/ 第一に、インフラは（異常に敏腕なCEOがいる会社でない限り）ほとんどの場合、優先順位が下がります。
第二に、サービスが多すぎると、所有権の問題や境界線の問題が発生する。
第三に、大量のマイクロサービスがあると、それに対処するために、さらに多くのツールを導入する必要が出てきます。
1
18
57
2023年に読んだエンジニア向けおすすめ本7選
『人月の神話』はやはり名著。ビジネス職の方にもおすすめの書籍。（まとめ的な章である18章だけ読むのでも◎）
2
4
56
4/ CEOのザッカーバーグ氏は、2023年を「効率化の年」にすることを掲げていて、今回の動きもその一環であることは間違いない
1
11
52
Introducing Ozone🌍 ― the best unit testing service for your LLM prompts!
Use it to:
- Automate your prompt testing
- Track the evolution of your tests
With Ozone, prompt creation becomes 10x faster! Validate your AI's output using LLMs.
#ChatGPT
4
7
53
9/
👤「最初、クラウドサーバーみたいに扱うのは無理っしょ。って思っていたんだが、よく考えたらリモート人材管理のためのDocker、k8s、CI/CDみたいな存在のサービス結構出てきたなｗ たしかに、人材のスケールアップとシャットダウンが、より簡単になっていくのかも」
1
15
50
ChatGPT、有料プラン開始
月額5,500円ほど。
1
46
49
6/
👤「私はリモートワークを多く経験しましたが、リモートは長期的には『子羊を屠殺場に導く』プランだと思ってます。企業にとっては、実はかなり得です。例えば、オフィス代の節約、ハッピーアワー代の節約、採用範囲が広がり、給料をさらに下げる。すぐ解雇できるので人間関係トラブルもない。」
1
11
47
16/
5.可能であれば、マイクロサービスではなくライブラリとして作る
「カラーサービスを導入した」という例は、私がサービスよりもライブラリを好む理由の極端な例として、よく使います。確かに極端な例ですが、典型的な例です。
1
14
46
OpenAIのCEOであるSam氏は、OpenAIの株式を持っていない。
「（お金のためでなく）好きだからやってる」
ということらしいです。書き起こし↓
3
7
45
11/ 理論的にはOKです。そして、数十のインスタンスであれば、問題ありません。それが数十のマイクロサービスになるとやばいですし、もっとやばいのは巨大な企業内であらゆる垣根を越えて（例. Googleで全てに1つのカラーサービスを提供する）いる場合です。これは技術課題というより、組織課題です。
1
10
43
EUで、充電器をすべて「USB Type-C」に統一する法案が出される。可決がほぼ確実、2024年秋までに施行予定。
Apple のライトニングケーブルがついに...！
0
15
42
11/ ※まだまだあるのですが、一旦これくらいで🙏
雇用規制が日本とは大きく違うのでその点は注意が必要ですね。
GitHubレイオフについてのソース：
0
7
42
8/ B. 分散システムは、成長するにつれて必要とされてきますが、それぞれが独自のリスクプロファイル（訳注：単体テストとかのこと？）を持つ何十、何百ものマイクロサービスを扱うことは、かなり難しいことです。
C. 完全にマイクロ化すると、無秩序を正すため、新しい概念を導入する必要があります。
1
6
41
GPT4の API 招待が多くの方に来ているようですね（自分も来ました）
ただ、非常に高額なので気をつけましょう↓
gpt-3.5-turbo: $0.002 / 1K tokens
gpt-4 8 K: $0.03~0.06 / 1K tokens
gpt-4 32K: $0.06~0.12 / 1K tokens
3
13
41
12/ 私が提示したものは、誤った二項対立のように思えるかもしれませんが、実際、マイクロサービスには明確な技術的課題だけでなく、それ以上に組織的な課題があることは分かっています。
そして、私が心配しているのは、この点です。
1
7
40
14/ 最も重要なのは、ライブラリやSDKなどになるはずのマイクロサービスが、 開発時のリスクになる場合がある点です。
たくさんのコードは確かにオーバーヘッドですが、たくさんのサービスは、顧客の感じるプロダクト/体験へのリスクです。どちらの手法もデメリットはありますが、その度合いは違います
1
8
39
5/ それぞれの定義について、私はいつも以下のように考えています。
monolith -
apps - 、コアな価値ごとに分かれている。数個までの場合こう呼ぶ。
1
4
39
10/ 分散システムに関わっているエンジニアは重複を避けようとしているのでしょう。
そのため、複数の場所で同じことが行われていたら、「これを取り出してマイクロサービスを作ろう」と考えます。
1
8
39
7/ 話を戻して、「なぜ」なのか、お話ししましょう。
私は基本的に以下のように考えています。
スピードとリスク
A.エンジニアリングチーム全体が一つの大きなアプリ（Railsアプリのサイト全体と考える）の中で作業するメリットを話す方が、マイクロサービスのデメリットを考えるより簡単です。
1
5
39
7/
👤（↑に対して）「逆も同じでは。物理オフィスだと、社員は辞めづらいでしょ。職場での絆や、引っ越しのコストがあるから、転職で昇給・労働条件の改善があってもやめない人も結構いるよ。」
1
6
38
5/
👤「や、どっちかにしてくれ。出社必須の会社、週2,3日出社の文句が話題によく出るのに、今回、ある会社が『完全リモートワークにする』と言うと、こうやって非難されるのか。
どっちやねん。」
1
8
38
OpenAI DevDayの感想
1/ 安泰な開発者が一人もいない
OpenAIのAPIを利用して成功しているアプリ/OSSのほとんどが、今回の発表で大きく価値を落としたように感じます。ex. ChatPDF, LangChain
2/ 開発不要のGPTsには限界があり、それは開発者にとっての追い風
1
6
37
4/ もしあなたが1万人規模の会社でこれを読んでいるなら、おそらくこれらのアーキテクチャがある程度存在していると思いますが、今から私が言う事はは、これまでと違うかもしれません。
さて、まずは定義の話から。正確な定義があるわけではありませんので、
1
5
36
17/ 「では、アマゾンやウーバーはどうなんだ？」と言われるかもしれません
1. 好きにやってみてください。私は、経験を述べているだけです。
2. アマゾンみたいにサービスを義務化して成功したことがあれなら、頑張れ
3. これらはルールというよりガイドラインです
1
8
35
6/ services -monolith/apps をサポートする。コアインフラ、多くの場��で必要とされる。アプリチームによって書かれていない場合もある（インフラチームが担当）。
microservices -数百行程度のコード、ちょっとした仕事、ライブラリ・SDKかも/であるべき
1
5
35
1/ エンジニア採用強化中なので、弊社のAIプロダクトで使っているRAG技術の工夫・テクニックを80%くらい公開します。
※今回は対象読者として、「RAG」と聞いて何の話だか分かる方を想定しています（続く→）
2
5
35
19/ 分散システムと企業のスケールとの組み合わせはかなり複雑で、それをやったことがある人は非常に少ないため、それぞれの企業にピッタリハマる教訓を得ることは難しいです。それぞれの状況や事例が異なるからです。私がここで話しているのは、問題にどのようにアプローチするかについての考えです。
1
5
34
8/
👤「このスレッド、色んな人が違うこと言っているな」
👤「それもそうですが、1人が、2つの矛盾した意見を持ってるパターンもありますね。リモートは素晴らしいと思いながらも、チームワークは失いたくない、消耗品にはなりたくないと思っている人もいます。」
1
6
34
10/
👤「そもそも、私が2017年にGitHubのオフィスを訪れたときから、ほぼ誰もいませんでした。かなり豪華なオフィスなので、無駄遣いだな、と当時から思っていました。」
👤「GitHubは当初からリモートファーストの会社。マイクロソフトが買収しても、その文化を変えられなかったというだけ。」
1
11
35
ChatGPTの「ウソ」を、ChatGPT自体に発見させる手法について
「本当ですか？」ではなく「関連知識を3回聞いてブレないか確認する」方が発見率が高い
普通に��実務でも使えそうな研究でした↓
2
6
33
3/ 何が起きたか？
「Metaとの戦いに疲れた」とのこと。退社する意思を社内のチャットツールに投稿した。
原文ママだと"wearied of the fight"
1
11
31
2/ （念のため。）そもそも誰？
2000年代から『Doom』や『Quake』など今の3Dゲームの開発者、というか先駆者？として超有名だった
2013年～初のOculus CTO→買収後のMeta社でもVR/ARに関わる
2019年～Metaの技術顧問に。日本のVR界隈でも「神」として知られている
1
11
30
POSレジ系サービスは国内にもたくさんあるが、下手すると全滅まであるってこと...？
----------------------
Apple、iPhoneが決済端末になる「Tap to Pay」発表。米国で導入
1
10
29
4/ 背景？
そもそもカーマック氏は、前々からMeta社の方針にかなり苦言を呈していた
例）Quest Proは高すぎ、大衆向けを作るべき。など
1
11
28
3. プロンプトの工夫
通常、どうしても画像内のリンゴを12個だと勘違い。
有名な「Let's think step by step.」も効果なし。
しかし、「あなたは画像の中のものを数える達人です。正確な答えを導くため、画像に写っているリンゴを一列ずつ数えてみましょう。」というプロンプトでクリアできた。
1
5
26
LLMに渡すプロンプトを2~5倍圧縮できる研究。「LLMLingua-2」は、元の文章の情報量を損なわずにプロンプトを短くできるので、RAGシステムに組み込むことで真価が発揮されます。
個人的には、前モデルの「LLMLingua」は日本語に弱いという報告があったので、このモデルはどうなのか気になります。
1
7
25
LLMに渡せるコンテキストを、1Mトークンまで拡張できる手法が提案されました
現状の最長はGPT4の32K。「Recurrent Memory Transformer」という手法を利用。
これが再現可能なら、ベクトルDBの必要性が薄れ、膨大なドキュメントへの回答精度がさらに上がりそうです
1
6
22
1/ Amazon、最低でも週3の出社を必須化。
（エンジニア含む）ほぼ全員が対象で、5/1からフルリモートが廃止となりそうです。
1
1
23
1/ ロシアの検索エンジン「Yandex」のソースコードが流出。
ページランクに使われているアルゴリズム1922個も流出。GoogleのSEOとすべて同じではないですが（70%と言われている）、これを世界のSEO界隈の方々が必死に分析しGoogleのSEOに応用しようと試みています。（続く→
1
5
22
1人目のエンジニア、引き続き募集しています。
領域: 生成AIスタートアップ
雇用形態: 正社員
年収: 800~1,300万円
勤務地: 東京都（京橋）
僕の会社は、
生成AI
4
2
22
【もはやホラーなので注意】
ChatGPTに、ChatGPT自身のことを尋ねるスレッド。
（質問のクオリティが高いとここまで引き出せるのですね。読んでいて怖くなるレベルでした...）
ChatGPTに対して、ChatGPT自身についての質問や、自己言及的な質問をしてみました。なかなか驚く回答がやってきましたのでお読みください（添付画像）。
6
1K
4K
1
13
21
開発者の方へ。GPT4 Turboことgpt-4-1106-previewですが、一日100回までなので注意しましょう。いきなり本番に入れると死にます笑
1
6
20
0/ イーロン氏がTesla社内に送った、生産性に関するメールが発掘されてました
1. 会議の人数を減らす
2. 会議を減らす
3. 発言しない人は参加しない
4. 難しい言葉を使いたがるのを辞める
5. 上下関係を忘れる
6. 無駄なルールは無視する
1
2
20
2/ とにかくGPUパワーが不足。
これのせいで、あらゆる計画が遅れ。
APIの信頼性とスピード
→顧客の最大の不満だと認識
32kのコンテキストを全員に拡大したい
→100k - 1M トークンは今年中かも
Finetuning API
→モデルのマーケットプレイス始めるかも(?!)
プライベートGPT
→$100kの前払い必要
1
6
21
新しいAIチャットサービス「Groq」が話題になっています。注目されているのはそのスピード。従来のGPUを使わず、独自のLPU（Language Processing Unit）を利用しています。回答速度が恐ろしく早いです。
2
4
20
