HUGE NEWS: “For the first time, this study demonstrates that we can generate entire spoken sentences based on an individual’s brain activity."
#science
Andrew Ng教授が、Elon Muskらの提唱した「GPT-4を超える大規模言語モデル開発の6ヶ月禁止」を批判。
AI利用にリスクがあるのは事実だが開発禁止は実現困難であり、新しい技術の応用や競争を阻害すべきではなく、代わりに透明性や監査に関する規制を整備するほうが現実的と。
私も同じ意見です。
1/The call for a 6 month moratorium on making AI progress beyond GPT-4 is a terrible idea.
I'm seeing many new applications in education, healthcare, food, ... that'll help many people. Improving GPT-4 will help. Lets balance the huge value AI is creating vs. realistic risks.
こういうタイトル、誤解生むから本当に辞めて欲しい。原題は"GOOGLE’S AI WIZARD UNVEILS A NEW TWIST ON NEURAL NETWORKS"で、CapsuleNetもNNの一種であることは推察されるし、日本語版も記事を読めばそう書いてあるのに、なぜ釣りタイトルにするのか。
There's a new promising method for finetuning LLMs without modifying their weights called
proxy-tuning (by Liu et al. ).
How does it work? It's a simple decoding-time method where you modify the logits of the target LLM. In particular, you compute the
Preferred Networks achieved 74.9% accuracy on ImageNet training in 15min, the world's fastest result using ChainerMN and 1,024 P100 GPUs.
Paper is available.
スパコンTop500で、PFNのMN-1が91位にランクインされました。産業領域では国内1位&世界12位で、100人ちょっとのスタートアップが所有して産業用途に活用している計算機環境としては類を見ないと思います。
MN-1は先日ImageNet in 15 minsを達成したP100 x 1024基の構成です
RAG or longer context windows - what performs better? 🤔 A new study from
@nvidia
compares retrieval augmentation generation (RAG) with increasing context window for large language models (LLMs) on long context question answering and summarization tasks. 🔍🧪
⬇️
Preferred Networks won the 2nd prize at Google AI Open Images contest on Kaggle (with 0.00023 point margin!) and here is how the object detection model is carefully built using Chainer and various techniques.